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Editorial der TMF 


Zentrale Fragen zur Datenqualität im Gesundheitswesen beschäftigen nicht 
nur Wissenschaftler und Fachverbände seit Jahren, sie rücken zunehmend 
auch ins Bewusstsein der Gesundheitspolitik und der interessierten Öffent- 
lichkeit. Wie „gut“ sind eigentlich Daten in pharmazeutischen Studien? Wie 
lässt sich die Datenqualität in Kohortenstudien, Registern und anderen Data 
Repositories messen und gewährleisten, insbesondere wenn diese Daten auch 
zur Nutzenbewertung medizinischer Leistungen und Produkte herangezogen 
werden sollen? Welche Datenqualität kann in der Versorgungsforschung und 
bei der Sekundärdatenanalyse erreicht werden? Mit welchen wissenschaftli- 
chen Methoden und Verfahren lässt sich Datenqualität in der Qualitätsfor- 
schung selbst beurteilen und sicherstellen? 


Diese Fragen beleuchten schlaglichtartig die wachsenden Herausforderungen 
an die Beurteilung der Qualität jener Daten, die Zulassungsstudien, Nutzenbe- 
wertungen und epidemiologischen Analysen zugrunde liegen und die für die 
öffentliche Gesundheitssteuerung ebenso unerlässlich sind wie für medizinische 
Decision Support-Systeme. Vor dem Hintergrund der zunehmend digitalen Daten- 
erfassung im Gesundheitswesen ergibt sich die Relevanz dieser Fragen nicht 
zuletzt aus der Erwartung, dass sich medizinische Daten grundsätzlich auch 
außerhalb ihres ursprünglichen Kontexts für vielfältige Zwecke nutzen lassen. 


Aber was ist eigentlich „Datenqualität“ und wie misst man sie? Ein im vor- 
liegenden Buch hierfür bemühtes Zitat definiert Datenqualität als den Grad, 
zu dem ein Satz inhärenter Merkmale festgelegte Anforderungen erfüllt. Doch 
welche Anforderungen sind an medizinische Daten zu stellen - und wie legt 
man diese fest? Welche Qualitätsindikatoren sind dabei zu berücksichtigen? 
Und nicht zuletzt stellt sich die Frage, wie sich die Qualität medizinischer 
Daten schon zum Zeitpunkt ihrer Erhebung positiv beeinflussen lässt. Welcher 
Aufwand ist damit verbunden und welche Anreizsysteme können langfristig 
den Aufbau qualitativ hochwertiger Datenbestände für die klinische und Ver- 
sorgungsforschung vorantreiben? 


Als erster gangbarer Schritt in Richtung einer umfassenden Bewertung und 
nachhaltigen Verbesserung der Datenqualität böte sich auch für Kohortenstu- 
dien und wissenschaftliche Register die in klinischen Studien zur Arzneimit- 
telzulassung etablierte Source Data Verification an. Ein solch manueller Abgleich 
zwischen Forschungsdaten und Primärdokumentation (meistens der Kranken- 
akte) erlaubt in der Tat die Bereinigung der meisten Übertragungsfehler auf 
dem Weg von der Primär- zur Studiendokumentation. Allerdings wären solche 
Verfahren in großen bevölkerungsbezogenen Studien, wie sie in vielen medi- 
zinischen Forschungsverbünden verankert sind, schon allein aus finanziellen 
und organisatorischen Gründen kaum durchführbar. Alternativ scheint sich 
hier ein sogenanntes „adaptives Monitoring“, d.h. ein Mix verschiedener Me- 
thoden einschließlich Plausibilitätsprüfung und Source Data Verification, als 
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probates Mittel anzubieten, um nicht nur die in Registern und Kohortenstu- 
dien schwierige Bewertung der Datenqualitat zu bewerkstelligen, sondern um 
darüber hinaus auch eine kontinuierliche Verbesserung der Arbeit der daten- 
erhebenden Stellen zu erreichen. 


Die TMF hat zu diesem für die Epidemiologie, die klinische und die Versor- 
gungsforschung gleichermaßen wichtigen Thema schon vor Jahren einen 
wertvollen Beitrag leisten können in Form der Leitlinie zum adaptiven Management 
von Datenqualität in Kohortenstudien und Registern. Diese Leitlinie wurde zwischen 
2004 und 2006 unter Federführung von Prof. Dr. Jürgen Stausberg (Universi- 
tätsklinikum Essen/Kompetenznetz HIV/AIDS, ab 2008: Ludwig-Maximilians- 
Universität München/Kompetenznetz Hepatitis) in einem TMF-finanzierten 
Projekt (Vo20-01) erarbeitet und 2008 in der TMF-Schriftenreihe publiziert. 


Wie die Autoren in der Einleitungzum vorliegenden Band ausführlich erläutern, 
ergab sich schon bald nach ihrer Veröffentlichung ein erster Bedarf für die Über- 
arbeitung der Leitlinie. In zwei von der TMF geförderten Projektabschnitten 
wurde die alte Leitlinie daher von 2011 bis 2012 zunächst evaluiert (Projekt Vo20- 
o4) und anschließend einer umfassenden Revision unterzogen (Projekt Vo2o- 
05). Im Ergebnis kann nun die zweite Version der Leitlinie zur Datenqualität 
vorgelegt werden. Deren wesentliche Neuerungen bestehen in 


= einer deutlichen Erweiterung der Indikatoren zur Messung von Daten- 
qualität, 

m einer Aktualisierung der Literaturübersicht und 

= spezifischen Anwendungsempfehlungen für Register, Kohorten und an- 
dere Data Repositories. 


Wir freuen uns, diesen wichtigen methodischen Beitrag zeitnah und aktuell 
in der TMF-Schriftenreihe veröffentlichen zu können. Der vorliegende Band 
umfasst neben der eigentlichen Leitlinie auch 


= eine umfassende und kommentierte Literaturübersicht sowie die Ergeb- 
nisse einer Expertenbefragung, 

= vielfältige Begriffsdefinitionen, 

= Anwendungsempfehlungen für Register, Kohorten und andere Data Re- 
positories sowie 

= eine Kurzbeschreibung relevanter statistischer Tabellen (Konfidenzin- 
tervalle, Fallzahlen), die entweder von der Webseite der TMF herunter- 
geladen oder bei der TMF-Geschäftsstelle in digitaler Form angefordert 
werden können. 


Die Materialien zur nunmehr abgelösten ersten Version der Leitlinie können 
bei Bedarf ebenfalls von der TMF bezogen werden (hierzu gehören die Litera- 
turübersicht und das Ergebnis der Expertenbefragung von 2005/06, die auf der 
ersten Version basierenden Checklisten und Implementierungshilfen sowie 
die Software-Werkzeuge zur praktischen Nutzung der Leitlinie). 


VI 
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Den Autoren der Leitlinie - Prof. Dr. med. Jiirgen Stausberg, Dr. rer. medic. 
Dipl.-Inf. Michael Nonnemacher und Dipl.-Bioinf. Daniel Nasseh - gilt unser 
großer Dank für ihre hervorragende Arbeit und für ihr unermüdliches Enga- 
gement. Wir sind insbesondere froh über ihren Anspruch, die praktische An- 
wendung der ursprünglichen Leitlinie zu begleiten und diese durch eine dar- 
aus abgeleitete Überarbeitung zu verbessern und besser nutzbar zu machen. 


Unser Dank gilt Frau Dr. Ulrike Bauer (Kompetenznetz Angeborene Herzfehler, 
DHZB), Herrn Prof. Dr. Thomas Schrader (Fachhochschule Brandenburg, Fach- 
bereich Informatik & Medien) und Herrn Dr. Carsten Oliver Schmidt (Institut 
für Community Medicine-SHIP/KEF, Greifswald) für ihre Beiträge zu den An- 
wendungsempfehlungen, Herrn Dr. Ron Pritzkuleit (Institut für Krebsepide- 
miologie e.V., Universität Lübeck) für seine Mitwirkung an der Evaluation der 
Leitlinie sowie Frau Dorothea Weiland (Institut für Medizinische Informatik, 
Biometrie und Epidemiologie am Universitätsklinikum Essen), die an der Er- 
stellung der ersten Version maßgeblich beteiligt war. 


Die TMF dankt außerdem allen Mitgliedern ihrer Arbeitsgruppe „IT-Infrastruk- 
tur und Qualitätsmanagement“, die unter der Leitung von Ronald Speer (IMISE 
und KKS Universität Leipzig) bzw. Prof. Dr. Ulrich Sax (Universitätsmedizin Göt- 
tingen) kontinuierlich die Evaluation der Leitlinie und ihre Überarbeitung be- 
gleitet und sich um ein kritisches Feedback der Anwender in den medizinischen 
Forschungsverbünden bemüht haben. Aus diesem Kreis istinsbesondere Gisela 
Antony (Kompetenznetz Parkinson, Universität Marburg) hervorzuheben, die 
viele hilfreiche Hinweise zur praktischen Anwendung der Leitlinie gegeben hat. 


Mit der vorliegenden Leitlinie hofft die TMF, gleichermaßen Hilfestellung und 
Denkanstoß zum wichtigen Thema „Qualität medizinischer Forschungsdaten“ 
zu liefern. Da sich die daran geknüpften methodischen Fragen nie abschlie- 
ßend beantworten lassen werden, wird sich die TMF auch weiterhin auf dem 
Gebiet engagieren. Jedes Feedback zur Leitlinie ist den Mitgliedern unserer AG 
„IT-Infrastruktur und Qualitätsmanagement“ daher herzlich willkommen! 


Für die TMF - Technologie- und Methodenplattform für die vernetzte medizi- 
nische Forschung e.V. (TMF) im Auftrag des Vorstands 


Sebastian Claudius Semler Prof. Dr. Michael Krawczak 
(Geschäftsführer) (Vorstandsvorsitzender) 
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| Einleitung 


Der Nutzen krankheitsbezogener wissenschaftlicher Kohortenstudien und 
Register, wie sie von Kompetenznetzen in der Medizin, Deutschen Zentren 
der Gesundheitsforschung und zahlreichen anderen medizinischen For- 
schungsnetzwerken aufgebaut wurden und werden, hangt ganz wesentlich 
von der Qualität der dort erfassten Daten ab [Gliklich/Dreyer 2010, Müller 
et al. 2010]. Datenqualität wird vom Deutschen Institut für Normung in der 
DIN EN ISO 14050:2010-08 definiert als „Eigenschaften von Daten in Bezug 
auf ihre Eignung, festgelegte Anforderungen zu erfüllen“ [DIN EN ISO 14050 
2010]. Zur effizienten Sicherstellung einer hohen Datenqualität sind wissen- 
schaftlich abgesicherte Methoden und Verfahren vonnöten. Die vorliegende 
Leitlinie enthält daher Empfehlungen zum Management der Datenqualität 
von Registern, Kohortenstudien und Data Repositories. Sie wendet sich an 
Verantwortliche für das Datenmanagement und die Qualitätssicherung in 
Studien- oder Registerzentralen. Hierbei sollte es sich um Personen mit wis- 
senschaftlichem Studium und relevanten Vorerfahrungen handeln. Bei der 
Anwendung der hier beschriebenen statistischen Verfahren zur Fallzahlpla- 
nung (s. Kap. II.5) kann die Hinzuziehung eines Statistikers oder Biomet- 
rikers sinnvoll sein. 


Die Erstellung von Version 1.0 dieser Leitlinie vom 31.3.2006 wurde durch die 
TMF - Technologie- und Methodenplattform für die vernetzte medizinische 
Forschung e.V. im Rahmen des Projektes „Entwicklung, Umsetzung und Eva- 
luation von Leitlinien zum adaptiven Management von Datenqualität in Ko- 
hortenstudien und Registern. Teilı: Entwicklung und Umsetzung der Leitli- 
nien“ gefördert. Im Jahre 2011 führten dann zwei Entwicklungen zu einer er- 
neuten Auseinandersetzung mit dieser Version. Zum einen wurde in zwei 
Veröffentlichungen über eine erfolgreiche Anwendung der Leitlinie berichtet 
[Jacke et al. 2010, Prokein et al. 2010]. Zum anderen wurden - auch von TMF- 
Mitgliedsverbünden - komplementäre Ansätze zur Operationalisierung von 
Datenqualität vorgestellt, so dass die Aktualität der Leitlinie in Version 1.0 in 
Frage stand. Ein Workshop der TMF im April 2011 in Berlin bestätigte dann den 
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Bedarf einer Überarbeitung’. Dort wurde in den Themenbereichen Methoden, 
Datenqualität in der Forschung und Datenqualität in der Versorgung eine Be- 
standsaufnahme vorgenommen. In dieser Situation förderte die TMF in den 
Jahren 2011 und 2012 ein Projekt, beidem Überlegungen aus epidemiologischen 
Krebsregistern, einer Kohortenstudie sowie einem Data Repository bezüglich 
der Messung von Datenqualität mit der Version 1.0 der Leitlinie abgeglichen 
wurden’, Als Ergebnis wurde deren konzeptioneller Ansatz bestätigt, das Set 
von Indikatoren zur Messung der Datenqualität jedoch deutlich erweitert 
[Stausberg et al. 2012]. 


Die Einbindung neuer Indikatoren stellt daher die wesentliche Anderung in 
Version 2.0 der Leitlinie dar. Weitere Teile der Leitlinie wurden entsprechend 
angepasst; die Literatursichtung wurde bis zum Jahr 2013 aktualisiert. Eine 
Erweiterung der Leitlinie findet sich mit Anwendungsempfehlungen zu Re- 
gistern, Kohorten und Data Repositories. Die Erweiterung ergibt sich aus der 
Verbreiterung des Indikatorensets, bei dem in noch höherem Maß als in Ver- 
sion 1.0 ein Zuschnitt auf die Gegebenheiten des jeweiligen Vorhabens sinnvoll 
bzw. notwendig ist. Die Anwendungsempfehlungen sind dabei als beispiel- 
hafte Muster fiir jeweils einen Typus von empirischen Forschungsvorhaben zu 
verstehen. In Gliederung und Darstellung orientiert sich Version 2.0 der Leit- 
linie an der ersten Fassung. Damit wird Nutzern, die bereits mit Version 1.0 
vertraut sind, ein reibungsloser Umstieg ermöglicht. Zur Abwärtskompatibi- 
lität wurden in Einzelfällen Gliederungspunkte ohne Inhalt belassen. Auch 
die Revision der Leitlinie wurde durch die TMF ideell und finanziell gefördert. 


Die Leitlinie bindet sich in ein vielfältiges Instrumentarium sinnvoller Maß- 
nahmen im Datenmanagement von Kohortenstudien und Registern ein. Ta- 
belleızeigtein Rahmenmodell, welches hierzu von Arts et al. [2002] erarbeitet 
wurde. In diesem Vorhaben wurden gezielt zwei Maßnahmen herausgegrif- 
fen, die sich im Umfeld der TMF als besonders relevant herauskristallisiert 
haben, ohne dass hierfür jedoch bereits klare Verfahrensanweisungen gegeben 
werden können. Dies sind der Originaldatenabgleich (Source Data Verificati- 
on, SDV) und das Feedback. 


Es wird davon ausgegangen, dass eine komplette Überprüfung der gemeldeten 
Daten mit der beim Datenlieferanten vorliegenden Primärdokumentation, 
also eine komplette SDV, zwar wünschenswert, aber nicht umsetzbar ist. Dies 
liegt zum einen an der fehlenden Finanzierbarkeit, zum anderen aber auch 
an der Unpraktikabilität dieses Vorgehens. Schwerpunkt der Leitlinie ist daher 
die Definition eines adaptiven Konzeptes zum Monitoring, welches eine dy- 
namische Anpassung der Aktivitäten zur Qualitätsprüfung an die Datenquali- 


1 Programm und Unterlagen der Vortragenden finden sich unter http://www.tmf-ev.de/Themen/Projekte/ 
Vo20_01 Datenqualitaet.aspx. 

2 Der Schlussbericht zu diesem TMF-Projekt (V020-04) ist unter www.tmf-ev.de/Leitlinie-Datenqualitaet zum 
Download verlinkt. 
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Tab. 1 


Generisches Rahmenmodell zur Datenqualitat in Registern aus Arts et al. [2002a] 


Central coordinating centre Local sites 


Prevention during set up and organisation of registry 


At the onset of the registry 

m compose minimum set of necessary data items 
m define data & data characteristics in data 
dictionary 

draft a data collection protocol 

define pitfalls in data collection 

compose data checks 

create user friendly case record forms 

m create quality assurance plan 


In case of new participating sites 
m perform site visit 
m train new participants 


Continuously 
m= motivate participants 
m= communicate with local sites 


In case of changes (e.g., in data set) 

m adjust forms, software, data dictionary, 
protocol, training material, etc. 

m= communicate with local sites 


At the onset of participating in the registry 

m assign a contact person 

m check developed software for data entry and 
for extraction 

m check reliability and completeness of extraction 
sources 

m standardise correction of data items 


Continuously 

train (new) data collectors 

motivate data collectors 

make data definitions available 

place date & initials on completed forms 

keep completed case record forms 

data collection close to the source and as soon 
as possible 

m use the registry data for local purposes 


In case of changes (e.g., in data set) 
m adjust data dictionary, forms, software, etc. 
= communicate with data collectors 


Detection during data collection 


During import of data into the central database 
m perform automatic data checks 


Periodically and in case of new participants 

m perform site visits for data quality audit 
(registry data < > source data) and review 
local data collection procedures 


Periodically 
m check inter- and intraobserver variability 
m perform analyses on the data 


Continuously 

m visually inspect completed forms 
m perform automatic data checks 

m check completeness of registration 


Actions for quality improvement 


After data import and data checks 
m provide local sites with data quality reports 
= control local correction of data errors 


After data audit or variability test 
m give feedback of results and recommendations 
m resolve causes of data errors 


After receiving quality reports 

m check detected errors 

= correct inaccurate data & fill in incomplete data 
m resolve causes of data errors 


After receiving feedback 
m implement recommended changes 
m= communicate with personnel 
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tat ermöglicht. Diese Anpassung umfasst die Frequenz, den Umfang und die 
Tiefe der SDV. Die Prüfung der Datenqualität erfolgt dabei an zwei Stellen: 


1, Zum einen werden Indikatoren der Datenqualität definiert, die aus den 
Daten eines Registers oder einer Kohortenstudie direkt erhoben werden 
können. 

2. Zum anderen ist der Grad von Vollzähligkeit, Vollständigkeit und Über- 
einstimmung zwischen gemeldeten Daten und der vor Ort existierenden 
Dokumentation ein Maß zur Anpassung des Monitorings. 


Ein adaptives Monitoring verfolgt nicht das Ziel, eine vollständige Überein- 
stimmung der erhobenen Daten mit der Primärdokumentation sicherzustel- 
len. Im Sinne einer Qualitätslenkung wird vielmehr eine Beeinflussung der 
meldenden Leistungserbringer angestrebt, um über das Konzept der kontinu- 
ierlichen Qualitätsverbesserung bereits bei der Erfassung eine hohe Daten- 
qualität zu erzielen. Abbildung ı verdeutlicht diesen Sachverhalt. 


Derzeit gibt es zu einem adaptiven Monitoring weder Vorgaben für Register 
(z.B. Krebsregister) noch wissenschaftlich abgesicherte Verfahren. Alle me- 
dizinischen Forschungsverbünde mit zentraler Datenerhebung, ob als Kohor- 
te, epidemiologische Studie oder Register, stehen daher vor der gleichen Auf- 
gabe. Im Vorlauf zur Erstellung von Version 1.0 der Leitlinie wurde im Febru- 
ar 2005 in Essen ein Workshop „Medizinische Daten in Forschung und Versor- 
gung“ durchgeführt’. Dort wurde einerseits die Notwendigkeit eines adaptiven 
Monitorings aus ganz unterschiedlichen Sichten (Therapieoptimierungsstu- 
dien, wissenschaftliche Register, externe Qualitätssicherung) eindrücklich 
betont. Anderseits wurden die fehlende konzeptionelle Basis und der Bedarf 
nach einer Ausarbeitung von Leitlinien und deren konkrete Unterstützung 
durch Software-Werkzeuge deutlich. 


Auch wenn die SDV weiterhin eine wichtige Rolle im Management von Daten- 
qualität einnimmt, gewinnt die Datenerfassung ohne Verfügbarkeit von Ori- 
ginaldaten zunehmend an Bedeutung. Hierbei handelt es sich z.B. um Ko- 
horten, bei denen die Erfassung der Daten ausschließlich zum Zwecke des 
Vorhabens unmittelbar durch studieneigenes Personal erfolgt. Daten werden 
auch bei ihrer Erhebung in Interviews oder Untersuchungen unmittelbar in 
zentralen Systemen erfasst, ohne einen Zwischenschritt über eine lokale, evtl. 
papierbasierte Dokumentation. Patienten und Angehörige geben selbst Daten 
zum funktionellen Outcome in zentralen Systemen zum Electronic Data Cap- 
ture (EDC) ein oder führen dort Aufzeichnungen zu Schmerzen und anderen 
Symptomen. Daten werden aus medizintechnischen Systemen wie Sensoren 
automatisch übernommen, so dass das Studiensystem den einzigen perma- 
nenten Speicherort darstellt. In diesen Fällen bietet sich alternativ das Feed- 


3 Programm, Unterlagen der Vortragenden und eine Zusammenfassung finden sich unter http://www.ekmed.de/ 
routinedaten/. 
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Abb.ı Kontinuierliche Verbesserung der Datenqualität 


back als Maßnahme im Qualitätsmanagement an. Die Messung der Qualität 
der Daten ist aber auch erforderlich, um ihre Eignung für den jeweiligen An- 
wendungszweck zu prüfen. Wird hier ein bestimmtes Niveau unterschritten, 
können Daten zur Beantwortung bestimmter Fragestellungen nicht mehr ge- 
eignet sein [Malin/Keating 2005]. Auch für die elektronische Akte in der Ver- 
sorgung wurden differenzierte Anforderungen an die Datenqualität abhängig 
vom Anwendungszweck der Dokumentation beschrieben [Baxter et al. 2007]. 


Der erste Schritt bei der Entwicklung der Leitlinie in Version 1.0 war die Iden- 
tifikation und Analyse der bestverfügbaren Evidenz über eine Sichtung der 
Literatur und eine Befragung von Experten*. Daran schlossen sich die Kon- 
sensusfindung zur inhaltlichen Zusammenführung und Ergänzung der Er- 
gebnisse und die Ableitung der Leitlinie an. Ein Zwischenstand wurde der 
interessierten Fachöffentlichkeit im Februar 2006 in einem Workshop „Quali- 
tät medizinischer Daten in Forschung und Versorgung“ präsentiert. Auf die- 
sem Workshop wurden unter anderem in vier Beiträgen Evidenz, Empfehlun- 
gen und Anwendung der Leitlinie erläutert und diskutiert. Die Vorgehens- 
weise orientiert sich an Empfehlungen zur Entwicklung von Leitlinien, die 
national erarbeitet [AWMEF/AZQ 2001] und wissenschaftlich begründet wurden 


4 Die Literatursichtung bis 2005/2006 steht unter www.tmf-ev.de/Leitlinie-Datenqualitaet zum Download zur 
Verfügung. 

5 Programm, Unterlagen der Vortragenden und eine Zusammenfassung finden sich unter http://www.ekmed.de/ 
routinedaten/. 
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[Bundesärztekammer/Kassenärztliche Bundesvereinigung 2005]. Das Vorge- 
hen bei der Literatursichtung entspricht den Schritten zur Quellensuche und 
Quellenbewertung, wie es die BQS Bundesgeschäftsstelle Qualitätssicherung 
gGmbH fiir die externe vergleichende Qualitatssicherung nach § 137 SGB V be- 
schreibt [Mohr et al. 2005]. Die Fortschreibung der Leitlinie zur Version 2.0 
erfolgte hingegen vor dem Hintergrund konkreter Beispiele fiir das Manage- 
ment von Datenqualitat. Die gleichzeitig vorgenommene Aktualisierung der 
Literaturbasis ist daher komplementar zu verstehen und war nicht Ausgangs- 
punkt zur Einführung der neuen Indikatoren. 


Unabhängig von den hier gewonnenen Ergebnissen wurde festgelegt, durch- 
gehend das Glossar der Arbeitsgruppe Qualitätsmanagement in der Medizin 
der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epi- 
demiologie (GMDS) als Referenz für die Definition qualitätsrelevanter Begrif- 
fe zu Grunde zu legen [GMDS-AG Qualitätsmanagement in der Medizin 2003]. 
Dieses 1996 erschienene und 2003 sowie 2007 [Sens et al. 2007] grundlegend 
überarbeitete und aktualisierte Glossar zu Begriffen und Konzepten des Qua- 
litätsmanagements findet sowohl in der Fachöffentlichkeit als auch in der 
Praxis durchgehend Anerkennung und kann derzeit in Deutschland als De- 
facto-Standard gelten. 


Hinweis 

Bei geschlechtsspezifischen Bezeichnungen wird in der Leitlinie nur eine 
Form genannt. Damit sind beide Geschlechter gemeint, solange nicht 
ausdrücklich anders vermerkt. 
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ll.1 Übersicht 


Abbildung 2 gibt einen Uberblick zur Verwendung der Leitlinie im Datenma- 
nagement in Form eines Aktivitatsdiagramms der Unified Modeling Langua- 


ge (UML). 


Wie bei Arts et al. 2002a wird hierbei zwischen dem zentralen Datenmanage- 
ment und den einzelnen Erhebungszentren unterschieden. Bereitstellung der 
erforderlichen Informationen sowie Anwendung der Leitlinie fallen in die Ver- 
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antwortung des zentralen Datenmanagements. Die einzelnen Erhebungszen- 
tren sind mittelbar bei der SDV sowie unmittelbar als Zielgruppe des Berichts- 
wesens betroffen. Der Zyklus zur kontinuierlichen Qualitätsverbesserung ist 
in Abbildung 2 entgegen dem Uhrzeigersinn dargestellt und gliedert sich in 
die Teile Vorbereitung, Anwendung der Leitlinie sowie Umsetzung der Emp- 
fehlungen. Die involvierten Bereiche sind in horizontalen Zeilen dargestellt, 
das zentrale Datenmanagement findet sich mittig, die Erhebungszentren am 
unteren, die zur Anwendung empfohlene aber nicht zwingend erforderliche 
Software am oberen Rand. Die Besonderheit beim ersten Zyklus liegt in der 
Nutzung des gesamten Datenpools sowie dem Fehlen der Parameter aus der 
SDV. Ab dem zweiten Zyklus werden nur noch Meldungen und Beobachtungen 
berücksichtigt, die seit dem vorhergehenden Durchlauf eingetroffen sind. 


Gemäß dem Projektansatz findet eine Adaptation (= Anpassung) allgemeiner 
guter Praxis im Datenmanagement an Charakteristika konkreter Vorhaben 
gleich mehrfach statt. Im Mittelpunkt steht eine Anpassung an die Datenquali- 
tät, die über verschiedene Qualitätsindikatoren abgeschätzt wird. Daneben flie- 
ßen Ressourcen (z.B. fürSDV), Design (z.B. Zahlan Merkmalen) oder auch Mel- 
dezahlen pro Zentrum in die aus der Leitlinie gewonnenen Empfehlungen ein. 


11.1.1 Vorbereitung 


Im Rahmen der Vorbereitung fallen regelmäßig drei Aufgaben an (s. Abb. 3): 


1. Die Extraktion des Datenbestandes seit der letzten Analyse (bzw. des ge- 
samten Datenbestandes im ersten Zyklus). Dieser Datenbestand wird im 
Folgenden als Datenpool bezeichnet. 

2. Die Zusammenstellung von Metadaten des Vorhabens. 

3. Die Ermittlung derjenigen Parameter, die als Zähler oder Nenner für die 
Berechnungen der Qualitätsindikatoren herangezogen werden. 


Es wird empfohlen, diese Aufgaben sequentiell zu bearbeiten. 
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Abb.3 Vorbereitung im Ablaufdiagramm 
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Die Extraktion oder Selektion des Datenbestandes fällt in die Verantwortung 
des zentralen Datenmanagements. Es wird davon ausgegangen, dass im ent- 
stehenden Datenbestand Beobachtungseinheiten definiert werden können, 
deren Erfassung bzw. Übernahme komplett in den Auswertungszeitraum fällt. 
Als Beobachtungseinheiten können je nach Vorhaben Personen, Patienten, 
Behandlungsfälle, Meldungen, Erhebungsbögen u.a. bezeichnet sein. Der 
Vorgang der Extraktion wird in dieser Leitlinie nicht abgehandelt. 


Metadaten ermöglichen eine Anpassung der Empfehlungen an konkrete Vor- 
haben, ohne dass die Metadaten Aussagen zur Datenqualität beinhalten. 
Metadaten sind bei jedem Zyklus zu erheben bzw. zu aktualisieren. Eine Be- 
schreibung der Metadaten findet sich in Kapitel II.4. Einige Merkmale der 
Metadaten sind aus dem Datenpool zu ermitteln, andere finden sich im Stu- 
dienplan oder anderen Dokumenten des Vorhabens. 


Für jeden Qualitätsindikator sind zwei Parameter zu ermitteln, die als Zähler 
bzw. Nenner bei der Ermittlung der Rate herangezogen werden. Für den über- 
wiegenden Teil der Parameter muss bei ihrer Ermittlung auf den Datenpool 
zugegriffen werden. Die Parameter sind mit Berechnungshinweisen bei den 
Qualitätsindikatoren in Kapitel II.2 dargestellt. Die Parameter sind für jedes 
Zentrum getrennt zu erheben. 


11.1.2 Anwendung 


Die Anwendung der Leitlinie sollte bevorzugt rechnerunterstützt erfolgen. 
Die hier dargestellten Schritte laufen dann automatisch ab. Neben den im 
Rahmen der Vorbereitung ermittelten Parametern (Metadaten, Zähler und 
Nenner der Qualitätsindikatoren) sind hierzu keine weiteren Eingaben erfor- 
derlich. Um die automatische Anwendung zu ermöglichen, müssen verschie- 
dene Festlegungen getroffen werden, z.B. von Schwellenwerten und Gewich- 
ten. Auf Grund fehlender Angaben in der Literatur wurde in Version 2.0 der 
Leitlinie auf die Empfehlung von Schwellenwerten verzichtet; die aufgeführ- 
ten Gewichte sind beispielhaft zu verstehen. Bei der Anwendung der Leitlinie 
sind daher Schwellenwerte festzulegen und die beispielhaft genannten Ge- 
wichte zu überprüfen. Die Verantwortung hierzu trägt das zentrale Daten- 
management. 


Die Anwendung der Leitlinie lässt sich in folgende Schritte zerlegen (s. Abb. 4): 


1. Kalkulation der Qualitätsindikatoren 

Berechnung der Raten 

Zuordnung der Raten zu den Kategorien auffällig/unauffällig 
2. Ermittlung des Qualitätsscores 
3. Durchführung der Fallzahlplanung 


Ermittlung der Zahl zu untersuchender Beobachtungseinheiten (Um- 
fang) 
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Ermittlung der Zahl der Merkmale, die pro Beobachtungseinheit zu 
untersuchen sind (Tiefe) 
Ermittlung der Zahl von Besuchen der Erhebungszentren (Frequenz) 
4. Zusammenstellung der Berichte für das Feedback 
5. Festlegung des Zeitpunktes für die nächste Analyse 


Alle Schritte sind für jedes Zentrum getrennt auszuführen. 


Die Raten der Qualitätsindikatoren ergeben sich durch Division von Zähler 
und Nenner nach den Definitionen in Kapitel II.2. 
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Abb.4 Anwendung im Ablaufdiagramm 


Für die Trennung von unauffälligen (guten) Raten von auffälligen (schlechten) 
Raten werden keine allgemeinen Empfehlungen für Schwellenwerte gegeben. 
Diese sind daher vorhabensspezifisch festzulegen. Für einzelne Indikatoren 
finden sich Angaben zu möglichen Schwellenwerten bei den Anwendungs- 
empfehlungen. Bei Über- oder Unterschreiten der Schwellenwerte ergibt sich 
eine Bewertung der ermittelten Rate als auffällig oder unauffällig. Für klei- 
nere Fallzahlen wird eine alternative Zuordnung angeboten, bei der der Ein- 
schluss des Schwellenwertes in ein 95%-Konfidenzintervall um die gemessene 
Rate geprüft wird. Bei Einschluss des Schwellenwertes wird - „im Zweifel für 
das Erhebungszentrum“ - der Indikator als unauffällig gewertet. 


Die Qualitätsindikatoren werden über eine gewichtete Summe zu einem Sco- 
re mit Werten zwischen o (alle gemessenen Raten sind auffällig) und 100 (alle 
gemessenen Raten sind unauffällig) verdichtet. Für die Gewichte wurden nor- 
mativ-analytisch Empfehlungen erarbeitet, die ebenfalls vorhabensspezifisch 
verändert werden können. Hierzu trifft die Leitlinie keine Regelungen. Eine 
Auflistung der Gewichte findet sich in Tabelle 3 in Kapitel II.3. Der Score wird 
weiterhin in fünf Kategorien von Datenqualität unterteilt, welche u.a. bei der 
Fallzahlplanung den absoluten Abstand der unteren und oberen Grenze des 
95%-Konfidenzintervalls zum Schätzer festlegen. Die Ermittlung des Quali- 
tätsscores ist in Kapitel I.3 beschrieben. 


Eine Fallzahlplanung für eine SDV ist nur unter zwei Voraussetzungen sinn- 
voll: Originaldaten stehen zur Verfügung und eine SDV ist möglich. Bei kom- 
pletter Anonymisierung von Daten in einem Vorhaben trifft letzteres z.B. nicht 
zu. In die Fallzahlplanung fließen folgende Parameter ein: 
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= Übereinstimmung der Registerdaten mit den Originaldaten bezogen auf 
Beobachtungseinheiten (Qualitätsindikator), zentrumsspezifisch. Im 
ersten Zyklus wird hier der vorab festgelegte Schwellenwert eingesetzt. 
In den folgenden Zyklen die ermittelte Rate. 

= Übereinstimmung der Registerdaten mit den Originaldaten bezogen auf 
Datenelemente (Qualitätsindikator), zentrumsspezifisch. Im ersten Zy- 
klus wird hier der vorab festgelegte Schwellenwert eingesetzt. In den 
folgenden Zyklen die ermittelte Rate. 

= Absoluter Abstand der unteren und oberen Grenze des 95%-Konfidenzin- 
tervalls zum Schätzer, einheitlich für alle Zentren. Dieser Abstand wird 
je nach Kategorie der Datenqualität gewählt. Er ist größer bei besserer 
Datenqualität und kleiner bei schlechterer Datenqualität. Die empfoh- 
lenen Werte finden sich in Kapitel II.5. 

= Anzahl der Beobachtungseinheiten im Analysezeitraum, zentrumsspe- 
zifisch. Die Werte finden sich in den Metadaten. 


Das Vorgehen bei Fallzahlplanung ist in Kapitel II.5 detailliert vorgestellt. Ein 
Überblick zu den Differenzierungen in Umfang, Tiefe und Frequenz findet sich 
am Ende dieses Abschnittes. 


Entsprechend den Vorgaben in den Metadaten wird zwischen drei Berichts- 
varianten ausgewählt. Die Prinzipien des Feedbacks beschreibt Kapitel II.6. 


Der Zeitpunkt für die nächste Analyse ist mit einem Default von sechs Mona- 
ten belegt. Kapitel II.7 enthält Hinweise auf eine Anpassung an die Gegeben- 
heiten eines Vorhabens. 


1.1.2.1 Ermittlung der Zahl zu untersuchender Beobachtungseinheiten (Umfang) 


Zuerst wird für jedes Zentrum die Zahl der Beobachtungseinheiten ermittelt, 
für die in der folgenden Phase ein Abgleich mit den Originaldaten durchge- 
führt wird. Die gewählte Formel stellt sicher, dass auch bei kleinen Zentren 
die empfohlenen Fallzahlen nicht höher liegen als die im vorhergehenden 
Zyklus aufgetretene Gesamtzahl. Dies wird als Umfang der SDV bezeichnet. 


Il.1.2.2 Ermittlung der Zahl der Merkmale, die pro Beobachtungseinheit 
zu untersuchen sind (Tiefe) 


Anschließend wird für jedes Zentrum ermittelt, bei wie vielen Merkmalen 
einer Beobachtungseinheit die Überprüfung durchgeführt wird. Das Vorgehen 
ist formal identisch zu Kapitel II.1.2.1 mit folgenden Besonderheiten: Der ge- 
messene Wert entspricht der relativen Häufigkeit von fehlenden Ubereinstim- 
mungen bei allen geprüften Beobachtungseinheiten. Die Fallzahlplanung 
bezieht sich auf die fehlende Übereinstimmung bei einer Beobachtungsein- 
heit. Auch hier ist durch die gewählte Formel sichergestellt, dass die empfoh- 
lene Zahl von Merkmalen nicht höher liegt als die Gesamtzahl von Merkmalen 
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pro Beobachtungseinheit. Es wird davon ausgegangen, dass die Gesamtzahl 
von Merkmalen eines Vorhabens über alle Zentren identisch ist. Dieser Teil 
der Fallzahlplanung legt die Tiefe der SDV fest. 


11.1.2.3 Ermittlung der Zahl von Besuchen der Erhebungszentren (Frequenz) 


Die in Kapitel I1.1.2.1 ermittelte Fallzahl wird durch die in den Metadaten be- 
schriebene maximale Bearbeitungszahl pro Besuch eines Erhebungszentrums 
dividiert. Hierdurch ergibt sich die Zahl der Besuche für die SDV. Als Dauer 
eines Zyklus werden sechs Monate empfohlen. Sollte die ermittelte Fallzahl 
die Bearbeitungskapazität überschreiten, wird dies im Bericht vermerkt und 
die in den Metadaten angegebene Bearbeitungskapazität auf den Zyklus ver- 
teilt. Dieser Teil der Planung legt die Frequenz der Besuche für die SDV fest. 


11.1.3 Ausführung der Empfehlungen 


Die Ausführung der Empfehlungen betrifft das zentrale Datenmanagement 
sowie die einzelnen Erhebungszentren (s. Abb. 5). Weitere Regelungen hierzu 
trifft die Leitlinie nicht. 


Empfänger der Empfehlungen ist das zentrale Datenmanagement (1). Esleitet 
die Berichte zur Datenqualität an die einzelnen Erhebungszentren weiter (2). 
Das zentrale Datenmanagement führt die SDV nach den Empfehlungen 
aus (3). Zentrales Datenmanagement und lokale Erhebungszentren sollten auf 
Grund der Berichte eine Schwachstellenanalyse durchführen (4) und Maß- 
nahmen zur Verbesserung der Datenqualität ergreifen (5). Damit ist ein Zyklus 
beendet. Der nächste Zyklus beginnt nach der festgelegten Zeit (Default sechs 
Monate) mit der Vorbereitung seitens des zentralen Datenmanagements. 
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Il.2 Qualitätsindikatoren 


Aus Literatursichtung, Expertenbefragungen und Anwendungsverfahren las- 
sen sich eine Vielzahl von Kenngrößen als Indikatoren für die Messung von 
Datenqualitätidentifizieren. Diese Qualitätsindikatoren werden in Kategorien 
zusammengefasst, die den von Donabedian eingeführten Ebenen der Struktu- 
ren, Prozesse und Ergebnisse entsprechen [Donabedian 1988]. Diese Ebenen 
haben sich in der Diskussion um die Qualität der medizinischen Versorgung 
als wertvoll erwiesen. Das in dieser Leitlinie betrachtete Produkt sind dabei die 
Daten, die in der Registerzentrale oder der Studienzentrale gespeichert sind. 
Als Hilfestellung für den Leser werden daher für die von Donabedian geprägten 
Bezeichnungen Synonyme eingeführt, die aus Sicht des Datenmanagements 
und Monitorings eher erschließbar sind; diese sind: für Struktur die Integri- 
tät, für Prozess die Organisation sowie für Ergebnisse die Richtigkeit. 


Zur Beurteilung der Datenqualität (und zur Bildung eines evaluativen Scores, 
s. Kap. II.3) muss pro Indikator ein individueller Schwellenwert für die Unter- 
scheidung von auffällig/unauffällig festgelegt werden [JCAHO 1990]. 


In Version 2.0 umfasst die Leitlinie insgesamt 51 Indikatoren, 30 Indikatoren 
der Ebene Integritat, 15 der Ebene Organisation und 6 der Ebene Richtigkeit. 
Hiervon findet sich neu ein Indikator zur Qualitat von Metadaten, Indikator 
TMF-1050 „Umfang der Metadaten bei Untersuchungen“. Während dieser im 
Vorprojekt noch einer neuen Ebene „Metadaten“ zugeordnet war, ist der In- 
dikator nun in die Ebene Integrität eingeordnet. Im Folgenden werden die In- 
dikatoren im Detail vorgestellt. Die Darstellung der Indikatoren ist angelehnt 
an Empfehlungen der Joint Commission on Accreditation of Healthcare Orga- 
nizations (JCAHO) für die Beschreibung evidenz-basierter klinischer Qualitäts- 
indikatoren im Gesundheitswesen [JCAHO 1990]. Tabelle 2 zeigt beispielhaft 
die Bedeutung der einzelnen Elemente der Definition eines Indikators. 
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Tab.2 Aufbau einer Indikatordefinition 


z.B. Anzahl fehlender Werte 


werden auch im Glossar aufgeführt 


Eindeutiges Kennzeichen jedes Indikators. Die Nummerierung hat keine Bedeutung. 


Strukturqualität/Prozessqualität/Ergebnisqualität 


Literaturquellen, Expertenmeinung 


Berechnung für einzelne Datenelemente oder für größere Informationseinheiten (z.B. Meldung, 
Register) 


Hinweis auf alternative Definitionen 


z.B. Anzahl fehlender Werte des Datenelements 


z.B. Anzahl überprüfter Datenelemente, Anzahl aller Patienten 


Subkategorien zur Adjustierung des Indikators, optional 


Beschreibung der Datensammlung und -aggregierung 


Interpretation des Indikatorwertes, auch Vorschläge aus der Literatur 


z.B. Je höher die Rate, desto schlechter die Datenqualität. Meier/Schulze 2005 halten eine Rate < 0,5% 
für akzeptabel. 


Faktoren auf den Ebenen Struktur und Prozesse, die den Indikator beeinflussen können, sind für eine 
Schwachstellenanalyse hilfreich 

z.B. Einführung von Kategorien für not applicable/not done verringert die Anzahl echter fehlender 
Werte 


m 
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11.2.1 Indikatoren der Ebene Integrität 


1.2.1.1 Übereinstimmung mit Vorwert 


Übereinstimmung des Ergebnisses einer Messung oder Untersuchung mit dem Vorwert 


Vorwert: Ein bezogen auf den aktuellen Wert zu einem früheren Zeitpunkt erhobener Wert 
desselben Datenelements. 


TMF-1001 


Strukturqualität 


Gassmann et al. 1995, Naumann/Rolker 2000, O’Kelly 2004 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. Die Berechnung des Indikators ist nur für Datenelemente sinnvoll, die mehrfach 
erhoben werden (z.B. Laborparameter, Vitalparameter). 


| 


Dieser Indikator unterstützt die Sichtbarmachung von Datenfehlern. Werte, die sich in unplausibler 
Weise von ihren Vorwerten unterscheiden, sind ein deutlicher Hinweis auf das Vorliegen eines 
Datenfehlers. 


Der Indikator ist mit dem Indikator „Reliabilität“ verwandt. 


Es muss hier unterschieden werden zwischen 

m unveränderlichen Merkmalen, die sich überhaupt nicht (z.B. Geburtsdatum) oder nur im Rahmen 
der Messgenauigkeit (z.B. Körpergröße) ändern sollten, und 

m veränderlichen Merkmalen, bei denen eine Abweichung vom Vorwert auftreten darf oder zu 
erwarten ist 


Anzahl der Werte mit absoluter Differenz zum Vorwert > akzeptable Abweichung 


Anzahl überprüfter Werte 


1 


u 


Il Vorgehensweise 


Berechnung 


1) Für Datenelemente, die sich (im Rahmen der Messgenauigkeit) nicht ändern sollen: Festlegung 
der akzeptablen Abweichung pro Datenelement unter Berücksichtigung der Variabilität der 
Messungen (z.B. „o“ für das Geburtsdatum, „1 cm“ für die Körpergröße) 


Für veränderliche Datenelemente: Festlegung der akzeptablen, unter den gegebenen Bedingungen 
des Registers plausiblen Abweichung pro Datenelement 


2) Berechnung der absoluten Differenz zum Vorwert = Betrag (aktueller Wert - Vorwert) 
3) Berechnung von Zähler, Nenner und Rate 
Interpretation 


Je höher die Rate, desto mehr unplausible Werte (potenzielle Datenfehler) gibt es und umso 
schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von der vorgesehenen 
Datennutzung ab. 


Einflussfaktoren 


Standardisierung von Untersuchungsverfahren und Analysemethoden; einmalige Erfassung 
unveränderlicher Merkmale 
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Il.2 Qualitätsindikatoren 


1l.2.1.2 Konkordanz 


Konkordanz 


Konkordanz: Die Übereinstimmung des Wertes eines Datenelements mit einer Referenzquelle (z.B. 


Patientenakte, CRF). 


TMF-1002 


Strukturqualität 


Aronsky/Haug 2000, Brennan/Stead 2000, Cook et al. 2003 


Die Berechnung erfolgt für einen Datenbestand. Die Berechnung des Indikators ist nur für 
Datenelemente sinnvoll. 


Konkordanz kann auch als Frage nach der Vollständigkeit der Datenerhebung betrachtet werden 
[Aronsky/Haug 2000], z.B. „sind alle in der Patientenakte vermerkten Diagnosen im Register 
gespeichert?“ 


Der Indikator überprüft nur die Übereinstimmung zweier Repräsentationen der Wirklichkeit und 
enthält keine Aussage über den Wahrheitsgehalt und die Angemessenheit der Darstellung 
[Brennan/Stead 2000]. Die Daten der Referenzquelle werden bei der Berechnung des Indikators als 
„wahr“ angenommen. Dies sollte bei der Wahl der Referenzquelle berücksichtigt werden. 


Wenn die Referenzquelle mit der Quelle der Datenerhebung für das Register identisch ist, dann 
entspricht der Indikator dem Indikator „Übereinstimmung der Registerdaten mit den Originaldaten“. 


Anzahl der Werte, die nicht mit der Referenzquelle übereinstimmen 


Anzahl überprüfter Werte 


| 


1) Wahl der Referenzquelle 
2) Vergleich der Werte des Datenelements mit den entsprechenden Werten aus der Referenzquelle 
3) Berechnung von Zähler, Nenner und Rate 


1 


N 


II Vorgehensweise 


Je höher die Rate, desto schlechter ist die Übereinstimmung mit der Referenzquelle (und damit die 
Datenqualität). Welche Rate noch akzeptabel ist, hängt von der vorgesehenen Datennutzung ab. 


Verfügbare Zeit und verfügbares Personal für die Datenerhebung; Qualifikation des Datenerhebungs- 
personals 


Il.2 Qualitätsindikatoren 


11.2.1.3 Widerspruchsfreiheit 


Widerspruchsfreiheit 


TMF-1003 


Strukturqualität 


Bobrowski et al. 1999, Gaus 2003, Jung/Winter 2000, Naumann/Rolker 2000 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für Datenelemente 
sinnvoll. 


Möglichst widerspruchsfreie Daten sind wichtig für die Aussagekraft von Auswertungen. 


Anzahl der Werte, die mindestens eine Plausibilitätsregel verletzen 


Anzahl überprüfter Werte 


TMF-1035, TMF-1004, TMF-1005 


1) Festlegung von einer oder mehreren Plausibilitätsregeln für jedes ausgewählte Datenelement 
[siehe auch Goertzen/Stausberg 2004]. 


Diese Regeln können z.B. folgende Form haben: 

B1 und/oder B2 und/oder B3 ... > A 

mit B1, B2, ..., A: Bedingungen, die Werte oder Wertelisten von Datenelementen beschreiben. 
Beispiele: 

Schwangerschaft = „ja“ > Geschlecht = „weiblich“ 

Alter > 50 oder Geschlecht = „männlich“ > Schwangerschaft = „na“ 

2) Anwendung der Plausibilitätsregeln auf die vorhandenen Werte 

3) Berechnung von Zähler, Nenner und Rate 
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II Vorgehensweise 


Je höher die Rate, desto mehr Widersprüche stecken in den Daten und desto schlechter ist damit die 
Datenqualität und die Nutzbarkeit der Daten. Welche Rate noch akzeptabel ist, hängt von der 
vorgesehenen Datennutzung ab. 


Automatische Plausibilitätsprüfungen bei der Datenerfassung 


Il.2 Qualitätsindikatoren 


1l.2.1.4 Endlosüberlebende 


Anteil Endlosüberlebender an allen Patienten/Probanden 


Endlosüberlebender: Patient oder Proband, für den zur Laufzeit eines Vorhabens niemals formal der 
Tod festgestellt wird (z.B. durch Todesbescheinigung oder Information vom Einwohnermeldeamt) 


TMF-1035 


Strukturqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic A 2008 


Die Berechnung kann für einen Datenbestand durchgeführt werden. 


Dieser Indikator sagt etwas aus über die Vollständigkeit und Validität von Follow-ups. Wenn 
Patienten die zu erwartende Überlebenszeit für ihre Tumorerkrankung deutlich überschreiten, kann 
dies ein Hinweis auf fehlende Informationen zum Tod oder eine fehlerhafte Recherche sein. Dies gilt 
speziell für Tumore mit schlechter Prognose oder kurzer Überlebenszeit (z.B. Pankreaskarzinom). 


Anzahl Endlosüberlebender 


Anzahl Patienten/Probanden im Datenbestand insgesamt 


Der Indikator ist eine Subkategorie von TMF-1003. 


1) Identifizierung aller Endlosüberlebenden im Datenbestand 
2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Fehlende Informationen von den Meldestellen, unzureichendes Follow-up 


2 


= 


Il Vorgehensweise 


11.2.1.5 Sichere Widersprüche/Fehler 


Durch Plausibilitätsprüfungen zwischen mehreren Merkmalen entdeckte Widersprüche und Fehler 
können nach ihrer Schwere (und der daraus resultierenden Reaktion) unterschieden werden. Dieser 
Indikator misst sichere Widersprüche und Fehler. 


| 


TMF-1004 


Strukturqualität 


TMF-Projekt V020-04: Open European Nephrology Science Center (OpEN.SC), Gesellschaft der 
epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 


Hentschel/Katalinic 2008 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. 


Sichere Widersprüche und Fehler müssen bei epidemiologischen Krebsregistern zwingend korrigiert 
werden. Unzureichende Korrekturen können in diesem Fall zur Zurückweisung einer Meldung führen 
(siehe Indikator TMF-1040: „Zurückgewiesene Meldungen‘). 


Anzahl Plausibilitätsprüfungen, die einen sicheren Widerspruch oder Fehler zeigen 


Anzahl aller durchgeführten Plausibilitätsprüfungen 


Der Indikator ist eine Subkategorie von TMF-1003. 


1) Definition des Begriffes „sicherer Widerspruch/Fehler“ (d.h. Widersprüche oder Fehler, die eine 
große Bedeutung für das Vorhaben besitzen) 


2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Motivation der Studienteilnehmer, Vollständigkeit und Korrektheit der primären Datenquellen 


N 
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Il.2 Qualitätsindikatoren 


1.2.1.6 Mögliche Widersprüche/Warnungen 


Durch Plausibilitätsprüfungen zwischen mehreren Merkmalen entdeckte Widersprüche und Fehler 
können nach ihrer Schwere (und der daraus resultierenden Reaktion) unterschieden werden. Dieser 
Indikator misst mögliche Widersprüche und Fehler. 


| 


TMF-1005 


Strukturqualität 


TMF-Projekt V020-04: Open European Nephrology Science Center (OpEN.SC), Gesellschaft der 
epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 


Hentschel/Katalinic 2008 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. 


Für epidemiologische Krebsregister liegen mögliche Widersprüche und Fehler dann vor, wenn Daten 
unplausibel aber prinzipiell möglich sind (z.B. Brustkrebs beim Mann). 


Anzahl Plausibilitätsprüfungen, die einen möglichen Widerspruch oder Fehler zeigen 


Anzahl aller durchgeführten Plausibilitätsprüfungen 


Der Indikator ist eine Subkategorie von TMF-1003. 


1) Definition des Begriffes „möglicher Widerspruch/Fehler“ (d.h. Widerspruch oder Fehler, der eine 
untergeordnete Bedeutung für das Vorhaben besitzt) 


2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Die Rate kann auch einen Hinweis auf 
unzutreffende Plausibilitätsprüfungen geben. 


2 
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II Vorgehensweise 


Motivation der Studienteilnehmer, Vollständigkeit und Korrektheit der primären Datenquellen, 
Umfang und Tiefe der Plausibilitätsprüfungen 
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Il.2 Qualitätsindikatoren 


1.2.1.7 Werteverteilung 


Werteverteilungen innerhalb und zwischen Zentren 


TMF-1006 


Strukturqualität 


Hasford/Staib 1994, Schmidt et al. 1995 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. Die Berechnung des Indikators ist nur für numerische Datenelemente sinnvoll. 


Anzahl auffälliger Werteverteilungen 


Anzahl überprüfter Datenelemente 


TMF-1007, TMF-1009, TMF-1010, TMF-1011, TMF-1052 


1) Berechnung der Kenngrößen Minimum, Maximum, Quartile, Mittelwert, Median und Standardab- 
weichung 


2) Festlegung von Referenzwerten aus früheren Daten des Zentrums oder Daten der anderen Zentren 
3) Vergleich der berechneten Kenngrößen mit den Referenzwerten 
4) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto mehr auffällige Werte stecken in den Daten und desto schlechter ist damit 
die Datenqualität. Jede festgestellte Auffälligkeit sollte zu einer vertieften Kontrolle der zugrunde 
liegenden Werte führen. Eine auffällige Verteilung kann ein Hinweis auf Probleme bei Untersu- 
chungsverfahren und Analysemethoden (z.B. Laborparameter) oder auf Datenfälschung sein. 


Standardisierung von Untersuchungsverfahren und Analysemethoden; unterschiedliche Patienten-/ 
Personenkollektive in verschiedenen Zentren 


N 
u 


II Vorgehensweise 


11.2.1.8 Bevorzugung bestimmter Endziffern 


Bevorzugung bestimmter Endziffern bei numerischen Datenelementen 


Endziffer: Die am weitesten rechts stehende Ziffer eines Wertes. Dabei spielt die Stellung des 
Kommas keine Rolle (z.B. die Werte „10,43“ und „213“ besitzen die Endziffer „3“; der Wert „213,0“ 
besitzt die Endziffer „o“). 


TMF-1007 


Strukturqualität 


Hasford/Staib 1994, O’Kelly 2004 


Die Berechnung erfolgt für einen Datenbestand. Die Berechnung des Indikators ist nur für 
numerische Datenelemente sinnvoll. 


Der Indikator basiert auf der Annahme, dass jede Ziffer aus dem Bereich von o bis 9 als Endziffer 
vorkommen kann und dass die Wahrscheinlichkeit für das Auftreten für alle Ziffern gleich groß ist 
(z.B. wenn das Körpergewicht mit einer Genauigkeit von 500 g in „kg“ gemessen wird, dann können 
als Endziffern nur „o“ und „5“ auftreten). Sind diese Bedingungen nicht erfüllt, sollte der Indikator 
nicht eingesetzt werden. Je kleiner die Anzahl überprüfter Werte, desto größer können auch bei 
korrekten Daten die Häufigkeitsunterschiede bei den Endziffern sein. 


Anzahl Datenelemente mit auffälliger Verteilung der Endziffern 


Anzahl überprüfter Datenelemente 


Der Indikator ist eine Subkategorie von TMF-1006. 


1) Berechnung der Häufigkeit des Auftretens der Endziffern o bis 9 pro ausgewähltem Datenelement 


2) Untersuchung der gefundenen Häufigkeiten pro Datenelement auf auffällige (ungleichmäßige) 
Verteilung der Endziffern 


3) Berechnung von Zähler, Nenner und Rate 


N 
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Il.2 Qualitätsindikatoren 


Je höher die Rate, desto schlechter ist die Datenqualität. Auffällige Unterschiede können ein Hinweis 
auf Probleme bei Untersuchungsverfahren und Analysemethoden (z.B. Laborparameter) oder auf 
Datenfälschung sein und sollten eine vertiefte Kontrolle der zugrunde liegenden Werte nach sich 
ziehen. 


Standardisierung von Untersuchungsverfahren und Analysemethoden 


II Vorgehensweise 


11.2.1.9 Werteverteilung der durch Untersucher erfassten Parameter 


Bei technischen Untersuchungen betrachtet SHIP die Qualität getrennt für das Gerät, den verant- 
wortlichen Techniker (Observer/Untersucher) sowie die befundende Person (Reader). Dieser 
Indikator befasst sich mit der Qualität der Daten in Bezug auf den Untersucher. 


| 


TMF-1009 


Strukturqualität 


TMF-Projekt V020-04: Study in Health in Pomerania (SHIP) 


Die Berechnung erfolgt fiir einen Datenbestand. 


Der Indikator kann sowohl für einzelne Geräte als auch für einzelne technische Untersuchungen mit 
mehreren Geräten berechnet werden. Der Indikator ist nur dann sinnvoll, wenn als Zwischenschritt 
zwischen der Erzeugung von Messwerten und der Befundung eine manuelle Erfassung durch 
Untersucher stattfindet. 


Anzahl Untersucher mit auffälliger Werteverteilung 


Anzahl Untersucher 


Der Indikator ist eine Subkategorie von TMF-1006. 


1) Auswahl der technischen Untersuchung 


2) Festlegung des Kriteriums für Auffälligkeit, z.B. Abweichung von einem Verteilungsparameter um 
einen bestimmten Betrag 


3) Berechnung des Verteilungsparameters 
4) Bestimmung von Zähler, Nenner und Rate 


N 
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Il.2 Qualitätsindikatoren 


Je höher die Rate, desto schlechter ist die Datenqualität. Bei Einschluss mehrerer Geräte sind 
Verzerrungen durch feste Bindungen zwischen Untersucher und Geräten auszuschließen. Die Anzahl 
von Untersuchungen je Untersucher ist zu berücksichtigen. 


Standardisierung der Erfassung von Werten, Schulung der Untersucher 


II Vorgehensweise 


11.2.1.10 Werteverteilung der durch Geräte erfassten Parameter 


Bei technischen Untersuchungen betrachtet SHIP die Qualität getrennt für das Gerät, den verant- 
wortlichen Techniker (Observer) sowie die befundende Person (Reader). Dieser Indikator befasst sich 
mit der Qualität der Daten in Bezug auf die Geräte. 


| 


TMF-1010 


Strukturqualität 


TMF-Projekt V020-04: Study in Health in Pomerania (SHIP) 


Die Berechnung erfolgt für einen Datenbestand. 


| 


Der Indikator wird für mehrere Geräte berechnet. 


Anzahl Geräte mit auffälliger Werteverteilung 


Anzahl Geräte 


Der Indikator ist eine Subkategorie von TMF-1006. 


1) Auswahl der Geräte 


2) Festlegung des Kriteriums für Auffälligkeit, z.B. Abweichung von einem Verteilungsparameter um 
einen bestimmten Betrag 


3) Berechnung des Verteilungsparameters 
4) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Die Anzahl der Untersuchungen pro Gerät 
ist zu berücksichtigen. 


Regelmäßige Wartung der Geräte, korrekte Einstellung und Handhabung der Geräte 


w 
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Il.2 Qualitätsindikatoren 


Il.2.1.11 Werteverteilung von Befunden 


Bei technischen Untersuchungen betrachtet SHIP die Qualität getrennt für das Gerät, den verant- 
wortlichen Techniker (Observer) sowie die befundende Person (Reader). Dieser Indikator befasst sich 
mit der Qualität der Daten in Bezug auf die befundende Person. 


TMF-1011 


Strukturqualität 


TMF-Projekt Vo20-04: Study in Health in Pomerania (SHIP) 


Die Berechnung erfolgt fiir einen Datenbestand. 


Der Indikator kann sowohl für einzelne Geräte als auch für einzelne technische Untersuchungen mit 
mehreren Geräten berechnet werden. 


Anzahl Befunder mit auffälliger Werteverteilung 


Anzahl Befunder 


Der Indikator ist eine Subkategorie von TMF-1006. 


1) Auswahl der technischen Untersuchung 


2) Festlegung des Kriteriums für Auffälligkeit, z.B. Abweichung von einem Verteilungsparameter um 
einen bestimmten Betrag 


3) Berechnung des Verteilungsparameters 
4) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Die Anzahl der Befunde je Befunder ist zu 
berücksichtigen. 


Qualifikation der befundenden Personen, regelmäßige Zweitbefundung mit Feedback 
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II Vorgehensweise 


11.2.1.12 Werteverteilung von Parametern zwischen Zentren 


Messwerte können sich systematisch zwischen Zentren unterscheiden. Mögliche Unterschiede 
werden mit diesem Punkt abgebildet. 


TMF-1052 


Strukturqualität 


TMF-Projekt V020-04: Study in Health in Pomerania (SHIP) 


Die Berechnung erfolgt für einen Datenbestand. 


Der Indikator wird für alle Zentren berechnet. 


Anzahl Zentren mit auffälliger Werteverteilung 


Anzahl Zentren 


Der Indikator ist eine Subkategorie von TMF-1006. 


1) Auswahl der Zentren 


2) Festlegung des Kriteriums für Auffälligkeit, z.B. Abweichung von einem Verteilungsparameter um 
einen bestimmten Betrag 


3) Berechnung des Verteilungsparameters 
4) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Schulungsvoraussetzungen, organisatorische Gegebenheiten, Gerätespezifika etc. in den Zentren. 
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Il.2 Qualitätsindikatoren 


1l.2.1.13 Untersuchungen am Wochenende 


Untersuchungen am Wochenende oder an gesetzlichen Feiertagen 


TMF-1008 


Strukturqualität 


Hasford/Staib 1994 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für Datenelemente 
sinnvoll, die Datumsangaben von Untersuchungen repräsentieren. 


Bei gesetzlichen Feiertagen ist zu prüfen, ob sie am Ort der Datenentstehung als normale 
Arbeitstage galten. Unter bestimmten Umständen sind auch Untersuchungen am Wochenende oder 
an gesetzlichen Feiertagen möglich (z.B. in der Notaufnahme eines Krankenhauses). Solche Fälle 
sind nicht als Datenfehler zu interpretieren. 


Anzahl der Datumsangaben, die auf ein Wochenende oder einen gesetzlichen Feiertag fallen. 


Anzahl überprüfter Werte 


1) Bestimmung der Datumsangaben aller Wochenenden und am Ort der Datenentstehung gültigen 
gesetzlichen Feiertage 


2) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. Jeder gefundene Fehler ist ein Hinweis auf einen Datenfehler 
oder Datenfälschung und sollte überprüft werden. 


Automatische Plausibilitätsprüfungen bei der Datenerfassung 
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II Vorgehensweise 


Il.2.1.14 Fehlende Module 
| 


| 
Der Datensatz eines Vorhabens kann in verschiedene Module unterteilt sein, z.B. nach Verfahren wie 
EKG oder nach sachlogischen Bezügen wie Soziodemographie. Module können auch über Gruppen 
von zusammenhängenden Variablen definiert sein. Dieser Indikator prüft die Vollständigkeit, in 
denen die Module vorliegen. 


| 


TMF-1012 


Strukturqualität 


TMF-Projekt V020-04: Study in Health in Pomerania (SHIP) 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. 


Dieser Indikator kann sowohl beschränkt auf ein Modul wie Soziodemographie als auch unter 
Einschluss verschiedener Module durchgeführt werden. Betrachtet werden nur komplette Module. 
Fehlende Module können z.B. durch fehlende Compliance von Studienteilnehmern in Bezug auf 
bestimmte Untersuchungen bedingt sein. 


Anzahl fehlender Module 


Anzahl überprüfter Module 


Der Indikator ist eine Subkategorie von „Fehlende Einträge“ 


1) Suche nach fehlenden Modulen 
2) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Motivation der Studienteilnehmer, Belastung der Studienteilnehmer durch Untersuchungen, 
Geräteausfälle, Studiendesign 


w 
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Il.2 Qualitätsindikatoren 


1l.2.1.15 Fehlende Werte bei Datenelementen 


Anteil fehlender Werte bei Datenelementen 


| 


TMF-1013 


Strukturqualität 


TMF-Projekt Vo20-04: Ergänzung erfolgt aus Gründen der Systematik 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. 


Dieser Indikator wurde eingeführt, um eine Berechnung der Anzahl fehlender Werte unter Einschluss 
von optionalen und mandatorischen Datenelementen zu ermöglichen. 


Anzahl fehlender Werte 


Anzahl überprüfter Werte 


Der Indikator ist eine Subkategorie von „Fehlende Einträge“. Subkategorien dieses Indikators sind 
TMF-1014 und TMF-1015. 


1) Suche nach fehlenden Werten 
2) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Einführung von separaten Kategorien für „not applicable“, „not done“. Nutzung eines EDC-Systems 
mit Erzwingung von Einträgen bei mandatorischen Datenelementen. 
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II Vorgehensweise 


Il.2.1.16 Fehlende Werte bei mandatorischen Datenelementen 


Anzahl fehlender Werte bei mandatorischen Datenelementen 


| 


TMF-1014 


Ergebnisqualität 


Aronsky/Haug 2000, Gaus 2003, Parkin/Muir 1992, Swart/Ihle 2005 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für mandatorische 
Datenelemente sinnvoll. 


| 


Der Indikator ist wichtig für die korrekte Schätzung von Inzidenzen und Prävalenzen. Der Anteil der 
Fälle mit vollständigen Daten ist für spätere multivariate Analysen von großer Bedeutung. 


Ein entsprechender Indikator ist auch für optionale Datenelemente vorhanden. Die separate 
Behandlung von mandatorischen und optionalen Datenelementen wird von Aronsky/Haug 
vorgeschlagen, da jeweils unterschiedliche Fehlerraten tolerabel sind [Aronsky/Haug 2000]. Gaus 
schlägt vor, die Untersuchung fehlender Werte auf mandatorische Datenelemente zu beschränken 
[Gaus 2003]. 


Anzahl fehlender Werte bei mandatorischen Datenelementen 


Anzahl überprüfter Werte bei mandatorischen Datenelementen 


Der Indikator ist eine Subkategorie von TMF-1013. 


1) Suche nach fehlenden Werten bei mandatorischen Datenelementen 
2) Berechnung von Zähler, Nenner und Rate 
Alternative Berechnungsmöglichkeit: Anzahl fehlender Werte pro Patient/Person 
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II.2 Qualitätsindikatoren | | 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Einführung von separaten Kategorien für „not applicable“ und „not done“. 


II Vorgehensweise 


11.2.1.17 Fehlende Werte bei optionalen Datenelementen 


Anzahl fehlender Werte bei optionalen Datenelementen 


TMF-1015 


Strukturqualität 


Aronsky/Haug 2000, Gaus 2003, Parkin/Muir 1992, Swart/Ihle 2005 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für optionale 
Datenelemente sinnvoll. 


| 


Der Indikator ist wichtig für die korrekte Schätzung von Inzidenzen und Prävalenzen. Ein entspre- 
chender Indikator ist auch für mandatorische Datenelemente vorhanden. Die separate Behandlung 
von mandatorischen und optionalen Datenelementen wird von Aronsky/Haug vorgeschlagen, da 
jeweils unterschiedliche Fehlerraten tolerabel sind [Aronsky/Haug 2000]. Gaus schlägt vor, die 
Untersuchung fehlender Werte auf mandatorische Datenelemente zu beschränken [Gaus 2003]. 


Anzahl fehlender Werte bei optionalen Datenelementen 


Anzahl überprüfter Werte bei optionalen Datenelementen 


Der Indikator ist eine Subkategorie von TMF-1013. 


1) Suche nach fehlenden Werten bei optionalen Datenelementen 
2) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Einführung von separaten Kategorien für „not applicable“ und „not done“. 


8 


Ww 


Il.2 Qualitätsindikatoren 


1l.2.1.18 Datenelemente mit Wert unbekannt o.ä. 


Anteil von Datenelementen mit Werten unbekannt o.ä. 


| 


TMF-1016 


Strukturqualität 


TMF-Projekt Vo20-04: Study in Health in Pomerania (SHIP) 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. 


Dieser Eintrag ist nur für mandatorische Datenelemente mit einer vorgegebenen Werteliste sinnvoll, 
bei denen ein Eintrag unbekannt o.ä. verfügbar ist. Dieser Indikator ist verwandt mit dem Indikator 
TMF-1025 „Datenelemente mit unspezifischen Werten“. 


Anzahl Werte unbekannt o.ä. 


Anzahl überprüfter Werte 


Der Indikator ist eine Subkategorie von „Fehlende Einträge“ 


1) Festlegung der relevanten Bezeichnungen („unbekannt“ o.ä.) 
2) Suche nach den entsprechenden Einträgen 
3) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Motivation des Erhebungspersonals, Art der Erhebung 
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II Vorgehensweise 


11.2.1.19 Datenelemente mit bestehenden Einträgen 
bei allen Beobachtungseinheiten 


Anteil von Datenelementen mit bestehenden Einträgen bei allen Beobachtungseinheiten 


TMF-1017 


Strukturqualität 


TMF-Projekt V020-04: Open European Nephrology Science Center (OpEN.SC) 


Die Berechnung erfolgt für einen Datenbestand. 


| 


Die Berechnung ist sowohl für optionale als auch für mandatorische Datenelemente sinnvoll. 
Festzulegen ist der Umgang mit Einträgen wie „unbekannt“ o.ä. 


Anzahl von Datenelementen mit Einträgen bei allen Beobachtungseinheiten 


Anzahl von überprüften Datenelementen 


Der Indikator ist eine Subkategorie von „Fehlende Einträge“ 


1) Festlegung der einzuschließenden Datenelemente 
2) Bestimmung für jedes Datenelement, ob Werte von allen Beobachtungseinheiten vorliegen 
3) Berechnung von Zähler, Nenner und Rate 


Je niedriger die Rate, desto schlechter die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Die Einflussfaktoren sind vielfältig, da dieser Indikator Aspekte anderer Kennzahlen bündelt. Es ist 
daher sinnvoll, diesen Indikator nicht getrennt, sondern zusammen mit anderen aus dem Bereich 
„Fehlende Einträge“ zu betrachten. 
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Il.2 Qualitätsindikatoren 


Il.2.1.20 Ausreißer bei stetigen Datenelementen 


Ausreißer bei stetigen Datenelementen 


Stetiges Datenelement: Ein Datenelement, das in einem bestimmten Bereich jeden Zwischenwert 
annehmen kann (z.B. Blutdruck). 

Ausreifer: Wert eines Datenelements, der nicht den Erwartungen entspricht, d.h. außerhalb des 
Intervalls der erwarteten oder plausiblen Werte liegt. 


TMF-1018 


Strukturqualität 


Gaus 2003, Swart/Ihle 2005 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für stetige 
Datenelemente sinnvoll. 


Dieser Indikator ist speziell für Laborparameter und Vitalparameter einsetzbar. Nicht jeder Ausreißer 
ist ein Datenfehler, z.B. können abhängig vom Schweregrad einer Erkrankung und dem Zustand 
eines Patienten sehr hohe oder sehr niedrige Laborwerte auftreten. 


Anzahl der Ausreißer 


Anzahl überprüfter Werte 


Je nach Datenelement möglich, z.B. Geschlecht bei Laborparametern 


1) Festlegung des Intervalls erwarteter Werte pro Datenelement. 


Ein bei der Darstellung von Box-Whisker-Plots benutztes Intervall ist der 1,5-fache Interquartilsabs- 
tand, d.h. der 1,5-fache Abstand zwischen dem 1. und 3. Quartil. 


2) Suche nach Werten, die außerhalb dieses Intervalls liegen 
3) Berechnung von Zähler, Nenner und Rate 
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II Vorgehensweise 


Je höher die Rate, desto mehr Ausreißer und damit Datenfehler befinden sich in den Daten. Eine 
hohe Rate kann ein Hinweis auf Probleme mit den zugrunde liegenden Untersuchungs- oder 
Analysemethoden sein. 


Standardisierung von Untersuchungsverfahren und Analysemethoden 


Il.2 Qualitätsindikatoren 


11.2.1.21 Werte, die die Messbarkeitsgrenzen von Verfahren 


unter- oder überschreiten 


Anteil von Werten, die die Messbarkeitsgrenzen von Verfahren unter- oder überschreiten 


TMF-1019 


Strukturqualität 


TMF-Projekt V020-04: Study in Health in Pomerania (SHIP) 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. 


Die Berechnung ist nur dann sinnvoll, wenn die Werte, die Messbarkeitsgrenzen unter- oder 
überschreiten, identifizierbar sind, z.B. durch eine bestimmte Kodierung. Die Auswertung kann 
verfahrensspezifisch erfolgen. Es kommen nur technische Verfahren in Betracht. Zudem müssen 
Messbarkeitsgrenzen in der Praxis relevant sein. 


Anzahl von Werten, die die Messbarkeitsgrenzen unter- oder überschreiten 


Anzahl von überprüften Werten 


| 


1) Auswahl des Verfahrens 
2) Suche nach Werten, die die Messbarkeitsgrenzen unter- oder überschreiten 
3) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. Hohe Werte zeigen eine unangemessene Wahl des Verfahrens 
für das untersuchte Kollektiv an. 


Verfahrensgerechte Durchführung der Untersuchungen, korrekte Indikationsstellung 
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II Vorgehensweise 


1l.2.1.22 Werte aus Standards 


Anteil von Werten, die mit Bezeichnungen aus kontrollierten Vokabularen übereinstimmen 


TMF-1020 


Strukturqualität 


TMF-Projekt V020-04: Open European Nephrology Science Center (OpEN.SC) 


Die Berechnung erfolgt für einen Datenbestand. 


Die Berechnung ist nur sinnvoll für Freitextfelder oder Datenelemente, bei denen die Liste der 
erlaubten Werte bei der Erfassung ergänzt werden kann. Es ist sinnvoll, das zum Textvergleich 
eingesetzte Verfahren einer expliziten Qualitätsprüfung zu unterziehen. 


Anzahl von Werten mit Bezeichnungen aus kontrollierten Vokabularen. 


Anzahl überprüfter Werte 


| 


1) Festlegung der zu berücksichtigenden kontrollierten Vokabulare 

2) Durchführung einer Normalisierung der Einträge bzw. Festlegung eines Verfahrens zum Textvergleich 
3) Suche nach Werten, die mit den Bezeichnungen aus kontrollierten Vokabularen übereinstimmen 
4) Berechnung von Zähler, Nenner und Rate 


Je niedriger die Rate, desto schlechter die Datenqualität. Da bei der Definition der Datenelemente 
auf die explizite Verwendung eines kontrollierten Vokabulars verzichtet wurde, ist eine Rate von 
100% nicht zu erwarten. Die für diese Entscheidung relevanten Gründe müssen bei der Interpreta- 
tion der Ergebnisse berücksichtigt werden. 


Bedeutung und Bekanntheitsgrad von kontrollierten Vokabularen bei den betrachteten Daten- 
elementen 


P 
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Il.2 Qualitätsindikatoren 


1l.2.1.23 Unerlaubte Werte bei qualitativen Datenelementen 


Unerlaubte Werte bei qualitativen Datenelementen 


Qualitatives Datenelement: Ein Datenelement, das nur eine endliche Zahl qualitativer Werte 
annehmen kann, d.h. Werte, die sich nicht quantifizieren lassen (z.B. nach ICD-10 kodierte Diagnose). 


TMF-1021 


Strukturqualität 


Gaus 2003, Swart/Ihle 2005, Winter et al. 2003 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für qualitative 
Datenelemente sinnvoll. 


| 


Dieser Indikator macht nur Sinn, wenn eine Erfassung von unerlaubten Werten technisch überhaupt 
möglich ist. Bei Datenelementen, die kodierte Werte enthalten, macht der Indikator nur eine 
Aussage über die formale Korrektheit der Kodierung (z.B. erlaubter Wertebereich = alle existierenden 
ICD-10-Kodes). Das (schwierige) Problem der inhaltlichen Korrektheit einer Kodierung wird von 
diesem Indikator nicht erfasst. 


Anzahl der unerlaubten Werte 


Anzahl überprüfter Werte 


Der Indikator ist eine Subkategorie von „Unerlaubte Werte“. Je nach Datenelement sind weitere 
Subkategorien möglich, z.B. Geschlecht und Alter bei Datenelement „Schwangerschaft“. 


1) Festlegung der erlaubten Werte pro Datenelement 
2) Suche nach unerlaubten Werten 
3) Berechnung von Zähler, Nenner und Rate 


Jeder unerlaubte Wert ist ein Datenfehler. Je höher die Rate, desto schlechter ist die Datenqualität. 
Welche Rate noch akzeptabel ist, hängt von der vorgesehenen Datennutzung ab. 


p 
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II Vorgehensweise 


Automatische Bereichsprüfungen bei der Datenerfassung 
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Il.2 Qualitätsindikatoren 


Il.2.1.24 Unerlaubte Werte bei qualitativen Datenelementen 
zur Kodierung von Missings 


Anzahl unerlaubter Werte bei qualitativen Datenelementen zur Kodierung von Missings 


TMF-1022 


Strukturqualität 


TMF-Projekt Vo20-04: Study in Health in Pomerania (SHIP) 


Die Berechnung des Indikators ist nur fiir qualitative Datenelemente sinnvoll. Die Berechnung kann 
für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für einen Datenbestand 
durchgeführt werden. 


| 


Dieser Indikator ergibt nur dann einen Sinn, wenn das Auftreten von Missings technisch überhaupt 
möglich und eine Kodierung vorgesehen ist. 


Anzahl der unerlaubten Werte 


Anzahl überprüfter Werte 


Der Indikator ist eine Subkategorie von „Unerlaubte Werte“, 


1) Festlegung der erlaubten Werte für Missings pro Datenelement 
2) Suche nach unerlaubten Werten 
3) Berechnung von Zähler, Nenner und Rate 


Jeder unerlaubte Wert ist ein Datenfehler. Je höher die Rate, desto schlechter ist die Datenqualität. 


Automatische Belegung von Missings mit definierten Kodes 
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11.2.1.25 Unerlaubte Werte zur Kodierung von fehlenden Modulen 


Anzahl unerlaubter Werte zur Kodierung von fehlenden Modulen 


| 


TMF-1023 


Strukturqualität 


TMF-Projekt V020-04: Study in Health in Pomerania (SHIP) 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. 


Der Indikator ist verwandt mit Indikator TMF-1012 „Fehlende Module“. 


Anzahl der unerlaubten Werte 


Anzahl überprüfter Werte 


Der Indikator ist eine Subkategorie von „Unerlaubte Werte“. 


1) Festlegung der erlaubten Werte für fehlende Module 
2) Suche nach unerlaubten Werten 
3) Berechnung von Zähler, Nenner und Rate 


Jeder unerlaubte Wert ist ein Datenfehler. Je höher die Rate, desto schlechter ist die Datenqualität. 


Automatische Belegung von fehlenden Modulen mit definierten Kodes 
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II.2 Qualitätsindikatoren | | 


Il.2.1.26 Unerlaubte Werte bei quantitativen Datenelementen zur Kodierung 


von Unter- oder Überschreitungen von Messbarkeitsgrenzen 


Unerlaubte Werte bei quantitativen Datenelementen zur Kodierung von Unter- oder Überschreitun- 
gen von Messbarkeitsgrenzen 


TMF-1024 


Strukturqualität 


TMF-Projekt Vo20-04: Study in Health in Pomerania (SHIP) 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. 


Dieser Indikator ist verwandt mit Indikator TMF-1019 „Werte, die die Messbarkeitsgrenzen von 
Verfahren unter- oder überschreiten“. 


Anzahl der unerlaubten Werte 


Anzahl überprüfter Werte 


Der Indikator ist eine Subkategorie von „Unerlaubte Werte“. 


1) Festlegung der erlaubten Werte zur Kodierung von Unter- oder Überschreitungen von Messbar- 
keitsgrenzen 


2) Suche nach unerlaubten Werten 
3) Berechnung von Zähler, Nenner und Rate 


Jeder unerlaubte Wert ist ein Datenfehler. Je höher die Rate, desto schlechter ist die Datenqualität. 


Automatische Belegung von Unter- oder Überschreitungen von Messbarkeitsgrenzen mit definierten 
Kodes 


Il Vorgehensweise 


11.2.1.27 Datenelemente mit unspezifischen Werten 


Anzahl von Datenelementen mit unspezifischen Werten 


TMF-1025 


Strukturqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für einen eine einzelne Beobachtungseinheit und für einen Datenbestand 
durchgeführt werden. 


Dieser Indikator beschreibt die Informationsdichte. 


Anzahl Datenelemente mit unspezifischer Angabe 


Anzahl überprüfter Datenelemente 


Bei epidemiologischen Krebsregistern wird dieser Indikator berechnet für 
m Uterus-Malignome, 

= Histologie, 

m Lokalisation und 

m Diagnosen (z.B. ICD-10-Kodes der Form „xxx.9“). 


1) Festlegung der zu untersuchenden Datenelemente 
2) Definition der Kategorie „unspezifisch“ für die zu untersuchenden Datenelemente 
3) Bestimmung von Zähler, Nenner und Rate 


Il.2 Qualitätsindikatoren 


Je höher die Rate, desto schlechter ist die Datenqualität. Auf der Ebene des einzelnen Datensatzes 
kann der Indikator u.U. ignoriert werden, da bei der Zusammenführung von Datensätzen für eine 
Beobachtungseinheit unspezifische Angaben in einem Datensatz durch spezifischere Angaben in 
einem anderen Datensatz überschrieben werden können. Bei Uterus-Malignomen sollte die Rate 
unter 5% liegen. 


Genauigkeit der Diagnostik, Vollständigkeit und Korrektheit der primären Datenquellen 


II Vorgehensweise 


11.2.1.28 Beobachtungseinheiten mit unbekanntem Primärtumor 


Anteil der Beobachtungseinheiten mit unbekanntem Primärtumor 


TMF-1026 


Strukturqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. 


Dieser Indikator hat eine enge Beziehung zum Indikator TMF-1025 „Datenelemente mit unspezifi- 
schen Werten“ und kann ggf. als weitere Präzisierung aufgefasst werden. 


Anzahl der Beobachtungseinheiten mit unbekanntem Primärtumor 


Anzahl aller überprüften Beobachtungseinheiten 


1) Identifizierung aller Beobachtungseinheiten mit unbekanntem Primärtumor 
2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Die Rate sollte unter 5% liegen. 


Genauigkeit der Diagnostik, Vollständigkeit und Korrektheit der primären Datenquellen 
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Il.2 Qualitätsindikatoren 


1l.2.1.29 Nachweis bekannter Korrelationen 


Nachweis einer bereits bekannten Korrelation zwischen verschiedenen Datenelementen 


Korrelation: Vorhandensein einer statistischen Beziehung zwischen zwei oder mehr quantitativen 
Datenelementen. 


TMF-1027 


Strukturqualität 


Hasford/Staib 1994 


Die Berechnung erfolgt für einen Datenbestand. Die Berechnung des Indikators ist nur für 
quantitative Datenelemente sinnvoll. 


Anzahl erwarteter, aber nicht nachweisbarer Korrelationen 


Anzahl überprüfter Korrelationen 


1) Bestimmung, welche Datenelemente miteinander korreliert sein sollten 

2) Festlegung des statistischen Verfahrens zur Überprüfung der Korrelation 

3) Anwendung des ausgewählten Verfahrens auf die ausgewählten Datenelemente 
4) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Wenn der Nachweis einer erwarteten 
Korrelation fehlschlägt, ist dies ein Hinweis auf Datenfehler oder Datenfälschung (und damit 
schlechter Datenqualität). Diese Fälle sollten im Detail überprüft werden. 
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Il Vorgehensweise 


11.2.1.30 Umfang der Metadaten bei Untersuchungen 


Anteil der von Untersuchungen übermittelten Metadaten 


| 


TMF-1050 


Prozessqualität 


Metadaten: Daten, die andere Daten definieren und beschreiben (aus ISO/IEC 11179-3 Edition 3); hier 
verstanden als Parameter einer technischen Untersuchung. 


TMF-Projekt V020-04: Open European Nephrology Science Center (OpEN.SC) 


Dieser Indikator ist nur dann sinnvoll, wenn die Möglichkeit zur Auslassung von Parametern bei der 
Übermittlung von Ergebnissen technischer Untersuchungen besteht. 


Anzahl vorhandener Parameter 


Anzahl der zu erwartenden Parameter 


| 


1) Festlegung der möglichen Parameter der interessierenden Untersuchung 
2) Bestimmung der vorhandenen Parameter 
3) Berechnung von Zähler, Nenner und Rate 


Je niedriger die Rate, desto schlechter ist die Datenqualität. 


Umfang von Schnittstellen, Einstellung von Geräten 


u 
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Il.2 Qualitätsindikatoren 


11.2.2 Indikatoren der Ebene Organisation 


1l.2.2.1 Aktualität der gespeicherten Daten 


Aktualität der gespeicherten Daten 


TMF-1028 


Prozessqualität 


Abate et al. 1998, Bobrowski et al. 1999, Jung/Winter 2000, Katalinic 2005, Kuntoro et al. 1994, 
Naumann/Rolker 2000, Wang et al. 1993 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung ist nur für veränderliche Datenelemente 
sinnvoll. 


„Aktualität“ kann auch aufgefasst werden als Frage nach dem Alter von gespeicherten Daten 
[Naumann/Rolker 2000, Wang et al. 1993]. Dieser Ansatz ist nur sinnvoll für Daten, die sich über die 
Zeit verändern können und iterativ erhoben werden. 


Der Indikator ist wichtig für die Aussagekraft von Auswertungen. Seine Bedeutung hängt von der Art 
der Daten und der geplanten Datennutzung ab. 


Er ist nicht anwendbar bei unveränderlichen soziodemographischen (z.B. Geburtsdatum, Geburtsort, 
Geschlecht, Todesursache) und krankheitsbezogenen Daten (z.B. angeborene Krankheiten und 
Behinderungen, Diagnose bei chronischen und unheilbaren Krankheiten, Daten von früheren 
Krankenhausaufenthalten, Geburten und Fehlgeburten, Im- und Transplantationen, Unfälle, 
Amputationen). Bei veränderlichen krankheitsbezogenen Daten (z.B. Diagnostik, Dauer, Medikation 
und Therapie von Akuterkrankungen) ist er bedingt anwendbar, wenn diese Daten aus alten 
Dokumenten oder aus dem Gedächtnis der Patienten/Personen rekonstruiert werden müssen. 


Der Indikator ist eventuell wichtig für Feasibilitystudien, wenn über veränderliche medizinische 
Daten über den Ein- oder Ausschluss von Patienten in klinische Studien entschieden werden soll (z.B. 
Dosisveränderungen im Therapieverlauf bei vorgegebenem Dosisintervall). Bei allen akuten 
(besonders bei ernsthaften) unerwünschten Ereignissen im Rahmen einer Medikations- oder 
Therapiestudie ist der Indikator als Prozessindikator wichtig. Er ist evident wichtig bei meldepflichti- 
gen Erkrankungen. 


Anzahl der Werte mit Zeitdifferenz > akzeptable Zeitdifferenz 
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II Vorgehensweise 


Anzahl überprüfter Werte 


1) Festlegung der akzeptablen Zeitdifferenz/Verfallzeit der Daten (z.B. 10 Tage); diese Werte können 
für verschiedene Datenelemente oder Informationseinheiten unterschiedlich sein. 


2) Berechnung der aktuellen Zeitdifferenz = Datum des Eingangs in das Register - Datum des 
Arztkontaktes, bei dem die Daten entstanden sind [Katalinic 2005] 


3) Berechnung von Zähler, Nenner und Rate 

Alternative Berechnungsmöglichkeit [Kuntoro et al. 1994]: 

1) Festlegung einer akzeptablen Aktualitätsrate 

2) Festlegung eines festen Zeitintervalls 

3) Berechnung des Zählers = Anzahl von Meldungen in dem festgelegten Zeitintervall 

3) Berechnung des Nenners = erwartete Anzahl von Meldungen in dem festgelegten Zeitintervall 
Dieser Wert kann aus bekannten Prävalenzen/Inzidenzen abgeleitet werden. 

4) Berechnung der Aktualitätsrate 


5) Aktualitätsrate < akzeptable Aktualitätsrate bedeutet schlechte Datenqualität. Dies ähnelt der 
Definition des Indikators „Vollständigkeit“. 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Personelle Kapazitäten in den Zentren; Qualität der technischen Infrastruktur; Güte der Datenquelle 
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Il.2 Qualitätsindikatoren 


1l.2.2.2 Dubletten im Datenbestand 


Anzahl Dubletten im Datenbestand 


Dublette: Zwei oder mehr Informationseinheiten, die dasselbe Subjekt oder Objekt beschreiben und 
bei denen die Identität nachgewiesen werden kann oder - sofern der Nachweis nicht möglich ist - 
mit hinreichender Wahrscheinlichkeit angenommen werden kann. 


Hinreichende Wahrscheinlichkeit: Eine unter Berücksichtigung von Datenqualitätsaspekten und 
beabsichtigter Datennutzung als ausreichend angesehene Wahrscheinlichkeit. 


TMF-1029 


Prozessqualität 


Swart/Ihle 2005 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. Die Berechnung ist nur für abgrenzbare Informationseinheiten sinnvoll (z.B. 
Diagnosen). 
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Der Indikator ist wichtig für die korrekte Schätzung von Inzidenzen und Prävalenzen und mit dem 
Indikator „Anzahl Synonyme“ verwandt. Die Existenz einer Dublette bedeutet, dass Daten real 
mehrfach vorhanden sind. Bei Synonymen hingegen wird zwar ein Patient/eine Person unter 
verschiedenen Patientenidentifikatoren mehrfach geführt. Dies muss aber nicht bedeuten, dass 
seine/ihre Daten doppelt vorhanden sind. Beispielsweise könnte eine Dokumentationskraft bei 
einem neuen Patienten nach Beschaffung eines Patientenidentifikators die Datenerfassung 
begonnen haben und eine zweite Dokumentationskraft nach versehentlicher zweiter Beschaffung 
eines Patientenidentifikators die Datenerfassung unter diesem neuen Patientenindikator fortsetzen. 


Die geschätzte Rate an Dubletten muss auf jeden Fall in die Bewertung von statistischen Kennzahlen 
(Signifikanzniveau) eingehen. 


Anzahl gefundener Dubletten 


Anzahl überprüfter Sets von Datenelementen 


u 
N 


Il Vorgehensweise 


Berechnung 


1) Festlegung eines Sets von Datenelementen, deren Kombination die Erkennung von Dubletten 
erlaubt (z.B. Geschlecht, Geburtsdatum, Wohnort, Infektionsdatum, Prozeduren) 


2) Festlegung der Nachweisgrenze für die Dublettensuche (z.B. übereinstimmende Werte bei allen 
Datenelementen des Sets; übereinstimmende Werte bei mindestens 6 von 8 Datenelementen des 
Sets) 


3) Identifizierung von Dubletten durch Wertevergleich der Schlüsselelemente pro Informationsein- 
heit 

4) Berechnung von Zähler, Nenner und Rate 

Interpretation 


Je höher die Rate, desto schlechter ist die Datenqualität. Swart/Ihle 2005 bezeichnen für die 
Sekundärdatenanalyse von Routinedaten des Gesundheitswesens eine Rate < 0,01% als akzeptabel. 
Diese Rate erscheint zu rigide und für große Register und Kohortenstudien nicht realitätskonform. 
Aus einer empirischen Stichprobe von 700 Patienten aus einem Zentrum des Kompetenznetzes 
Parkinson lässt sich eine realistische Rate von 2,5% schätzen (ermittelt durch G. Antony, IT-Koordina- 
tion Kompetenznetz Parkinson). 


Einflussfaktoren 


Zusammenführung von Daten aus verschiedenen Informationsquellen im Register; Patienten/ 
Personen, die mehrere meldende Zentren aufsuchen; spezielle Art der Erkrankung (z.B. Demenzen); 
Alter (Kinder); Qualität der technischen Infrastruktur (Möglichkeit, Zentrumswechsel und parallele 
Behandlung eines Patienten/Personen in mehreren Zentren zu melden); Anzahl der in einem 
Zentrum rekrutierten Patienten/Personen (die Ärzte können sich nicht alle Patienten/Personen 
merken); Fluktuation im Zentrum (der neue Arzt weiß nicht, ob sein Vorgänger den Patienten/die 
Person schon gesehen hat). 
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Il.2 Qualitätsindikatoren 


1l.2.2.3 Rekrutierungsrate 


Rekrutierungsrate 


Rekrutierung: Aufnahme von Patienten/Personen, die die Einschluss- und Ausschlusskriterien 
erfüllen, in ein Register. 


Einschlusskriterien: Menge von Eigenschaften eines Patienten/einer Person, die alle gleichzeitig 
vorhanden sein müssen, damit er/sie in das Register aufgenommen werden kann (z.B. Vorliegen 
einer bestimmten Erkrankung). 

Ausschlusskriterien: Menge von Eigenschaften eines Patienten/einer Person, die seine/ihre 
Aufnahme in das Register nicht erlauben. Das Vorhandensein von mindestens einer Eigenschaft 
verbietet die Aufnahme des Patienten/der Person in das Register (z.B. Alter < 18 Jahre). 


TMF-1030 


Prozessqualität 


Goldberg et al. 1980, Hasford/Staib 1994, Kuntoro et al. 1994, Pogash et al. 2001, Pollock 1994, 
Svolba/Bauer 1999 


Die Berechnung erfolgt für einen Datenbestand. 


| 


Zur Erhöhung der Aussagekraft des Indikators müssten die Krankheitsschwere und die Schwierigkeit, 
die Patienteneinwilligung zu erlangen (z.B. für aufwendige, eventuell. auch schmerzhafte 
Untersuchungen), bei der Berechnung berücksichtigt werden. 


Anzahl rekrutierter Patienten/Personen im gewählten Zeitintervall 


Anzahl der „potenziell passenden“ (d.h. rekrutierbaren) Patienten/Personen im gewählten 
Zeitintervall 


TMF-1051 
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Il Vorgehensweise 


Berechnung 


1) Festlegung eines angemessenen Zeitintervalls (z.B. 3 Monate) 

2) Berechnung von Zähler, Nenner und Rate 

Alternative Berechnungsmöglichkeiten: 

1) Festlegung der erwarteten Variabilität der Rekrutierungsrate pro gewähltem Zeitintervall 


2) Bestimmung der aktuellen Rekrutierungsrate (Anzahl Patienten/Personen pro Zeitintervall) im 
gewählten Zeitintervall 


3) Abweichung = Rekrutierungsrate im vorherigen Zeitintervall - Rekrutierungsrate im aktuellen Zeit- 
intervall 


Absolutbetrag der Abweichung > erwartete Variabilität ist ein Hinweis auf Probleme bei der 
Rekrutierung. 


Ableitung einer Schätzung für die Vollständigkeit des Registers aus einer Stichprobe, und Extrapola- 
tion dieser Schätzung auf das gesamte Register [Goldberg et al. 1980]. 


Eine aus historischen Daten bekannte Inzidenz- oder Prävalenzrate wird dazu benutzt, für die 
Registerdaten eine erwartete Zahl von Fällen zu berechnen. Die Differenz zwischen der erwarteten 
Fallzahl und der tatsächlich im Register vorgefundenen Fallzahl ist ein Maß für die Vollständigkeit 
[Goldberg et al. 1980, Kuntoro et al. 1994]. 


Interpretation 


Je höher die Rate, desto besser ist die Datenqualität. Eine Rekrutierungsrate < Schwellenwert zeigt 
an, dass ein zu kleiner Anteil der rekrutierbaren Patienten/Personen tatsächlich in das Register 
aufgenommen wurde. Die Vollzähligkeit ist unzureichend. 


Einflussfaktoren 


Gezielte Ansprache und Motivation rekrutierbarer Patienten/Personen in den Zentren; personelle 
Kapazitäten in den Zentren; Bereitschaft der Patienten/Personen zur Teilnahme; Schweregrad der 
Erkrankung (Rekrutierungsrate sinkt mit zunehmender Schwere der Erkrankung und damit 
zunehmendem Aufwand der Erhebung) 
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Il.2 Qualitätsindikatoren 


Il.2.2.4 DCO-Rate (Death Certificate Only) 


Anteil der Krebserkrankungen, für die nur eine Todesbescheinigung mit einem Hinweis auf die 
Krebserkrankung vorliegt. 


TMF-1051 


Prozessqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. 


Dieser Indikator beschreibt die Vollzähligkeit der Krebsregistrierung. Er ist der wichtigste Indikator 
für epidemiologische Krebsregister und ist dort zur Beurteilung eines Datenbestandes der 
entscheidende Indikator. Nach seinem Wert entscheiden Forschungsprojekte (z.B. Survivalanalysen 
auf regionaler Ebene) und internationale Datensammlungen (Globocan, Cancer Incidence in five 
continents), ob die Daten eines Krebsregisters verwendet werden oder nicht. Bei der Berechnung 
und Beurteilung anderer Indikatoren ist die DCO-Rate als Einflussgröße zu berücksichtigen. 


Anzahl der Krebserkrankungen, für die nur eine Todesbescheinigung mit einem Hinweis auf die 
Krebserkrankung vorliegt. 


Anzahl aller erfassten Krebserkrankungen 


Der Indikator ist eine Subkategorie von TMF-1030. Die einzelnen Tumorentitäten definieren 
Subkategorien dieses Indikators. 


1) Identifizierung der Krebserkrankungen, für die nur eine Todesbescheinigung mit einem Hinweis 
auf die Krebserkrankung vorliegt 


2) Bestimmung von Zähler, Nenner und Rate 
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II Vorgehensweise 


Je höher die Rate, desto schlechter ist die Datenqualität. Die DCO-Rate sollte insgesamt unter 5% 
liegen. Für die einzelnen Tumorentitäten können die Referenzwerte davon abweichen. Bei jungen 
Krebsregistern wird die DCO-Rate vergleichsweise hoch sein, da auch noch Jahre nach Beginn der 
Registrierung Personen an oder mit Krebs sterben, die vor Beginn der Registrierung an Krebs 
erkrankt sind. 


Bereitschaft der Meldestellen zur Meldung, fehlerhafte Zusammenführung von Meldungen 


Il.2 Qualitatsindikatoren 


1.2.2.5 Verweigerungsrate von Untersuchungen 


Anteil von verweigerten Untersuchungen 


| 


TMF-1031 


Prozessqualität 


TMF-Projekt Vo20-04: Study in Health in Pomerania (SHIP) 


Die Berechnung erfolgt fiir einen Datenbestand. 


| 


Der Indikator ist verwandt mit Indikator TMF-1012 „Fehlende Module“. Voraussetzung zur Ermittlung 
des Indikators ist die Möglichkeit, eine Verweigerung von Untersuchungen explizit zu dokumentie- 
ren. Dieser Indikator kann sowohl für eine spezifische Untersuchung, z.B. MRT, als auch für 
verschiedene Untersuchungen zusammen bestimmt werden. 


Anzahl verweigerter Untersuchungen 


Anzahl überprüfter Untersuchungen 


Der Indikator ist eine Subkategorie von „Verweigerungsraten“, 


1) Identifikation des Datenelements, in dem die Verweigerung erfasst wird, für jeden Untersu- 
chungstyp 


2) Bestimmung des Wertes, der eine Verweigerung anzeigt 
3) Suche nach dem Auftreten dieses Wertes 
4) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Studiendesign, Incentive für Studienteilnehmer, Belastung der Studienteilnehmer 
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II Vorgehensweise 


1.2.2.6 Verweigerungsrate von Modulen 


Anteil von verweigerten Modulen 


TMF-1032 


Prozessqualität 


TMF-Projekt V020-04: Open European Nephrology Science Center (OpEN.SC), Study in Health in 
Pomerania (SHIP) 


Die Berechnung erfolgt für einen Datenbestand. 


Der Indikator ist eng verwandt mit den Indikatoren TMF-1012 „Fehlende Module“ und TMF-1031 
„Verweigerungsrate von Untersuchungen“. Voraussetzung zur Ermittlung des Indikators ist die 
Möglichkeit, eine Verweigerung von Modulen explizit zu dokumentieren. 


Anzahl verweigerter Module 


Anzahl überprüfter Module 


Der Indikator ist eine Subkategorie von „Verweigerungsraten“. 


1) Identifikation des Datenelements, in dem die Verweigerung erfasst wird 
2) Bestimmung des Wertes, der eine Verweigerung anzeigt 

3) Suche nach dem Auftreten dieses Wertes 

4) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Studiendesign, Incentive für Studienteilnehmer 


a 
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Il.2 Qualitatsindikatoren 


1.2.2.7. Verweigerungsrate bei einzelnen Datenelementen 


Anteil von verweigerten Datenelementen 


TMF-1033 


Prozessqualitat 


TMF-Projekt Vo20-04: Study in Health in Pomerania (SHIP) 


Die Berechnung erfolgt fiir einen Datenbestand. 


Der Indikator ist komplementär zum Indikator TMF-1013 „Fehlende Werte bei Datenelementen“ und 
dessen Subkategorien TMF-1014 und TMF-1015. Voraussetzung zur Ermittlung des Indikators ist die 
Möglichkeit, eine Verweigerung der Beantwortung von Datenelementen explizit zu dokumentieren. 
Es wird sich bei den Datenelementen regelhaft um Elemente einer Befragung handeln, kaum um 
einen isolierten Parameter aus einer technischen Untersuchung. 


Anzahl von Werten mit Verweigerung 


Anzahl überprüfter Werte 


Der Indikator ist eine Subkategorie von „Verweigerungsraten“, 


1) Identifikation von Datenelementen, bei denen eine Verweigerung erfasst wird 
2) Bestimmung des Wertes, der eine Verweigerung anzeigt 

3) Suche nach dem Auftreten dieses Wertes 

4) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Sensibilität des Datenelements, Art der Befragung, Schulung der Interviewer 
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II Vorgehensweise 


11.2.2.8 Vorzeitig aus dem Register ausscheidende Beobachtungseinheiten 


Anzahl Patienten/Personen, die vorzeitig aus dem Register ausscheiden (Drop-out-Rate) 


Vorzeitiges Ausscheiden: Aus der Sicht des Datenmanagements die vorzeitige Beendigung der 
Datensammlung für einen Patienten/eine Person im Register. Dies kann dadurch geschehen, dass 
er/sie seine/ihre Einwilligung zur Teilnahme am Register zurücknimmt oder der Kontakt zwischen 
Zentrum und Patient/Person abbricht (lost-to-follow-up). 


TMF-1034 


Prozessqualität 


Expertise IMIBE 


Die Berechnung erfolgt für einen Datenbestand. 


Patienten/Personen, die durch Tod aus dem Register ausscheiden, können aus dem Zähler 
ausgeschlossen werden. 


Eine möglichst niedrige Drop-out-Rate ist wichtig für die Aussagekraft von Auswertungen. Der 
Indikator ist nur wichtig für Verlaufsregister und für Register, aus denen Patienten für klinische 
Studien rekrutiert werden sollen (Feasibilitystudien). Er kann aber auch ein qualitativer medizini- 
scher Indikator sein (z.B. angeborene Erkrankung bzw. Behinderung - Todeszeitpunkt oder 
Therapiezeitpunkt - Todeszeitpunkt) oder etwas über die „Einwilligungsschwere“ und die Zufrieden- 
heit der Patienten/Personen mit dem Register aussagen (z.B. Untersuchungen sind zu aufwendig, 
schmerzhaft oder unangenehm, „es passiert ja nichts“). Bei Alterskrankheiten ist mit einer schwer zu 
schätzenden Dunkelziffer bei Todesfällen zu rechnen. 


Anzahl Patienten/Personen, die innerhalb des gewählten Zeitintervalls vorzeitig aus dem Register 
ausscheiden 


Anzahl im gewählten Zeitintervall neu in das Register aufgenommener Patienten/Personen 


| 


1) Festlegung eines angemessenen Zeitintervalls (z.B. 3 Monate) 
2) Berechnung von Zähler, Nenner und Rate 


a 
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Il.2 Qualitätsindikatoren 


Interpretation 


Drop-out-Rate > Schwellenwert ist ein Hinweis auf Probleme im Zusammenhang mit Patientenan- 
sprache und -kontakt und kann zusätzlich ein Hinweis auf manipulierte Daten sein. Da (zu) viele 
Daten/Krankheitsverläufe nur unvollständig erfasst wurden, wird die Qualität und Aussagekraft der 
Daten dadurch insgesamt gemindert. 


Im Kompetenznetz Parkinson wurde mit Stand 15.11.2005 eine Drop-out-Rate von 0,013% (62 von 
4.801 Patienten) empirisch ermittelt (durch G. Antony, IT-Koordination Kompetenznetz Parkinson). 
Von den 62 Patienten waren 42 verstorben, die restlichen 20 Patienten zogen die Einwilligung für 
die weitere Teilnahme am Register zurück. 


Einflussfaktoren 


Maßnahmen zur Aufrechterhaltung und Verbesserung des Kontaktes zwischen Zentrum und 
Patienten/Personen; Information der Patienten/Personen über Sinn und Zweck des Registers; 
Personalkapazität in den Zentren (Stetigkeit) 
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II Vorgehensweise 


Il.2.2.9 Synonyme 


Anzahl Synonyme 


Synonym: Lexikalisches Zeichen, das die gleiche Bedeutung wie ein anderes lexikalisches Zeichen 
hat. Im Zusammenhang mit Registern werden Patientenidentifikatoren als Synonyme bezeichnet, 
wenn sie sich lexikalisch unterscheiden, aber demselben Patienten/derselben Person zugewiesen 
wurden. 


TMF-1036 


Prozessqualität 


Parkin/Muir 1992, Winter et al. 2003 


Die Berechnung erfolgt für einen Datenbestand. Falls möglich, sollten alle Patienten/Personen in 
die Suche nach Synonymen einbezogen werden. 


| 


Der Indikator ist wichtig für die korrekte Schätzung von Inzidenzen und Prävalenzen und mit dem 
Indikator „Anzahl Dubletten im Datenbestand“ verwandt. Nicht erkannte Synonyme führen dazu, 
dass Patienten/Personen mehrfach gezählt werden. Die Beziehungen zwischen Synonymen sollten 
dokumentiert werden [Winter et al. 2003]. 


Anzahl Synonyme 


Anzahl überprüfter Patienten/Personen 


1) Festlegung der Datenelemente (Schlüsselelemente), deren Kombination die Erkennung von 
Patienten/Personen erlaubt, die mehrfach im Register gespeichert sind. Dazu können z.B. die 
Datenelemente gehören, die zur Erzeugung der Patientenidentifikatoren benutzt werden. Alternativ 
können Verfahren des Record Linkage eingesetzt werden. 

2) Identifizierung der Synonyme durch Wertevergleich der Schlüsselelemente pro Patient/Person 


3) Berechnung von Zähler, Nenner und Rate 


a 
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Il.2 Qualitätsindikatoren 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Algorithmus zur Erzeugung der Patientenidentifikatoren; Qualität der technischen Infrastruktur 
(Möglichkeit, Zentrumswechsel und parallele Behandlung eines Patienten in mehreren Zentren zu 
melden) 


II Vorgehensweise 


Il.2.2.10 Homonyme 


Anzahl Homonyme 


Homonym: Mit einem Wort sind zwei unterschiedliche Definitionen verbunden. Im Zusammenhang 
mit Registern wird ein Patientenidentifikator als Homonym bezeichnet, wenn er mehr als einem 
Patienten/einer Person zugewiesen wurde. 


TMF-1037 


Prozessqualität 


Parkin/Muir 1992, Winter et al. 2003 


Die Berechnung erfolgt für einen Datenbestand. Falls möglich, sollten alle Patienten/Personen in 
die Suche nach Homonymen einbezogen werden. 


Der Indikator ist wichtig für die korrekte Schätzung von Inzidenzen und Prävalenzen. Nicht erkannte 
Homonyme führen dazu, dass Daten verschiedener Patienten/Personen fälschlicherweise zusam- 
mengeführt werden. Dies kann zusätzlich zu vermeintlich falschen oder widersprüchlichen Daten 
führen und damit die Einschätzung der Datenqualität negativ beeinflussen. Die Entdeckung von 
Homonymen ist schwierig und unter Umständen nur eingeschränkt oder gar nicht möglich. 


Anzahl Homonyme 


Anzahl überprüfter Patienten/Personen 


1) Festlegung der Kriterien, anhand derer Homonyme erkannt werden können (z.B. die zur 
Erzeugung der Patientenidentifikatoren benutzten Datenelemente, doppelte Untersuchungen, 
Therapiebeginn vor Diagnosestellung, Therapie passt nicht zur Diagnose) 


2) Identifizierung der Homonyme durch Überprüfung der festgelegten Kriterien 
3) Berechnung von Zähler, Nenner und Rate 


N 


(0) 


II.2 Qualitatsindikatoren | | 


Je höher die Rate, desto schlechter ist die Datenqualität. Welche Rate noch akzeptabel ist, hängt von 
der vorgesehenen Datennutzung ab. 


Algorithmus zur Erzeugung der Patientenidentifikatoren 


II Vorgehensweise 


II.2.2.11 Einzelmeldungen pro Beobachtungseinheit 


Zu einem Tumorfall können mehrere Meldungen vorliegen. Der Indikator prüft, wie häufig zu einem 
Tumorfall nur eine einzige Meldung vorliegt. 


| 


TMF-1038 


Prozessqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. 


| 


Zu einem Tumorfall können mehrere Meldungen (z.B. vom niedergelassenen Arzt, Klinikarzt und 
Pathologen) vorliegen. Wenn nur eine einzelne Meldung zu einem Fall vorliegt, kann dies ein 
Hinweis auf schlechte Datenqualität sein, hervorgerufen durch fehlende oder unvollständige 
Meldungen. Dies gilt speziell für solitäre Meldungen von Pathologen, die hier mit berücksichtigt 
werden, aber auch durch einen separaten Qualitätsindikator (TMF-1039) zusätzlich untersucht 
werden können. 


Anzahl Beobachtungseinheiten mit nur einer Meldung 


Anzahl überprüfter Beobachtungseinheiten 


1) Bestimmung der Anzahl Meldungen für jede Beobachtungseinheit 
2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Vollzähligkeit der Meldungen, Motivation der Meldestellen zur Meldung 


N 
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Il.2 Qualitätsindikatoren 


1l.2.2.12 Solitäre Meldungen von Pathologen 


Zu einem Tumorfall können mehrere Meldungen vorliegen. Der Indikator prüft, wie häufig zu einem 
Tumorfall nur eine solitäre Meldung eines Pathologen vorliegt. 


| 


TMF-1039 


Prozessqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für einen Datenbestand durchgeführt werden. 


| 


Zu einem Tumorfall können mehrere Meldungen (z.B. vom niedergelassenen Arzt, Klinikarzt und 
Pathologen) vorliegen. Wenn nur eine einzelne Pathologen-Meldung zu einem Fall vorliegt, 
bedeutet dies häufig eine schlechte Datenqualität, da in einer Pathologen-Meldung wichtige 
Informationen (z.B. Datum der Erstdiagnose), die dem Pathologen nicht bekannt sind, fehlen. Ein 
separater Qualitätsindikator (TMF-1038) überprüft solitäre Meldungen unabhängig vom Typ der 
Meldestelle. 


Anzahl Beobachtungseinheiten mit solitärer Pathologen-Meldung 


Anzahl überprüfter Beobachtungseinheiten 


1) Bestimmung der Anzahl Beobachtungseinheiten mit einer solitären Pathologen-Meldung 
2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Vollzähligkeit der Meldungen, Motivation der Meldestellen zur Meldung 
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Il Vorgehensweise 


11.2.2.13 Zurückgewiesene Meldungen 


Meldungen, die aufgrund fehlerhafter Angaben nicht verarbeitet werden können, werden 
zurückgewiesen. Der Indikator misst den Anteil solcher Meldungen. 


TMF-1040 


Prozessqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für einen Datenbestand durchgeführt werden. 


Meldungen, die aufgrund fehlerhafter Angaben nicht verarbeitet werden können, werden 
zurückgewiesen. Die meldende Stelle hat dann die Möglichkeit, die Meldung mit korrigierten Daten 
erneut vorzunehmen. 


Anzahl zurückgewiesener Meldungen 


Anzahl überprüfter Meldungen 


| 


1) Identifizierung zurückgewiesener Meldungen 
2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Vollständigkeit und Korrektheit der primären Datenquellen, Motivation der Melder 


N 


4 


Il.2 Qualitätsindikatoren 


1l.2.2.14 Datenquellen pro Beobachtungseinheit 


Zu einem Tumorfall können Meldungen aus einer oder mehreren Datenquellen vorliegen. Der Indika- 
tor prüft, wie häufig zu einem Tumorfall nur eine einzige Datenquelle existiert. 


TMF-1041 


Prozessqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für eine einzelne Beobachtungseinheit und für einen Datenbestand durchge- 
führt werden. 


Zu einem Tumorfall können Meldungen aus mehreren Datenquellen (z.B. vom niedergelassenen 
Arzt, Klinikarzt und Pathologen) vorliegen. Wenn nur eine einzelne Datenquelle zu einem Fall zur 
Verfügung steht, fehlen möglicherweise wichtige Daten, da sie in dieser Datenquelle nicht erfasst 
wurden. Die Todesbescheinigung darf nicht mit in die Berechnung eingeschlossen werden. 


Anzahl Beobachtungseinheiten mit nur einer Datenquelle 


Anzahl überprüfter Beobachtungseinheiten 


1) Bestimmung der Anzahl Datenquellen für jede Beobachtungseinheit 
2) Bestimmung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Datenqualität. 


Motivation der Meldestellen zur Meldung, Zeitpunkt der Berechnung 
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II Vorgehensweise 


11.2.2.15 Beobachtungseinheiten mit Follow-up 


Anteil Beobachtungseinheiten mit Follow-up 


| 


TMF-1042 


Prozessqualität 


TMF-Projekt V020-04: Gesellschaft der epidemiologischen Krebsregister in Deutschland e.V. (GEKID) 
Hentschel/Katalinic 2008 


Die Berechnung kann für einen Datenbestand durchgeführt werden. 


Dieser Indikator sagt etwas aus über die Vollzähligkeit von Follow-ups. Follow-ups sind wichtig für 
Verlaufsuntersuchungen (z.B. Bestimmung der Überlebenszeit nach Erstdiagnose eines Tumors). 
Voraussetzung ist die Kenntnis über die durchzuführenden Follow-ups. 


Anzahl Beobachtungseinheiten mit Follow-up 


Anzahl überprüfter Beobachtungseinheiten 


| 


1) Identifizierung der Beobachtungseinheiten, für die mindestens ein Follow-up vorhanden ist 
2) Bestimmung von Zähler, Nenner und Rate 


Je geringer die Rate, desto schlechter ist die Datenqualität. 


Bereitschaft der Meldestellen zur Meldung, Mobilität der Patienten 
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Il.2 Qualitätsindikatoren 


11.2.3 Indikatoren der Ebene Richtigkeit 


1l.2.3.1 Genauigkeit der Registerdaten 


Genauigkeit der Registerdaten 


Genauigkeit: Das Ausmaß, in dem die Registerdaten der Wahrheit entsprechen [Arts et al. 2002a]. 


TMF-1043 


Ergebnisqualität 


Arts et al. 2002a, Barrie/Marsh 1992, Brennan/Stead 2000, Hassey et al. 2001, Hüsers 2004, Jung/ 
Winter 2000, Kühn-Stoffers 2004, Lindquist 2004, Massey/Hoffman 1989, Prins et al. 2000 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für Datenelemente 
sinnvoll. 


Genauigkeit kann auch definiert werden als Kombination aus den Indikatoren „Korrektheit“ und 
„Vollständigkeit“ [Brennan/Stead 2000, Hüsers 2004] oder als „Positiver Prädiktiver Wert“ [Hassey 
et al. 2001]. Letzteres ist definiert als der Anteil der Patienten/Personen, die ein im Register 
gespeichertes Merkmal tatsächlich aufweisen, unter der Gesamtheit aller Patienten/Personen, für 
die dieses Merkmal im Register gespeichert ist. 


Die „Wahrheit“ sollte aus einer unabhängigen Datenquelle stammen, die nicht für die Erhebung der 
Registerdaten benutzt wurde. Der Vergleich der Registerdaten mit den Datenquellen, aus denen die 
Registerdaten abgeleitet wurden, wird durch den Indikator „Übereinstimmung der Registerdaten mit 
den Originaldaten“ erfasst. 


Anzahl der im Register vorhandenen und korrekten Werte 


Anzahl überprüfter Werte 


| 


1) Abstraktion der „Wahrheit“ aus der unabhängigen Datenquelle 
2) Überprüfung, ob diese Werte im Register vorhanden sind 
3) Berechnung von Zähler, Nenner und Rate 
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II Vorgehensweise 


Je höher die Rate, desto besser ist die Datenqualität. Prins schlägt folgende Klassifikation vor [Prins 
et al. 2000]: 


> 95%: gut 
zwischen 80% und 95%: mäßig 
< 80%: schlecht 


Verfügbare Zeit und verfügbares Personal für die Datenerhebung; Qualifikation des Datenerhebungs- 
personals; Qualität (Wahrheitsgehalt) der für die Erhebung der Registerdaten benutzten Datenquellen 


Il.2 Qualitätsindikatoren 


1.2.3.2 Übereinstimmung der Registerdaten mit den Originaldaten 


bezogen auf Datenelemente 


Übereinstimmung der Registerdaten mit den Originaldaten bezogen auf Datenelemente 


Originaldaten: Die Daten, aus denen die Registerdaten extrahiert wurden. Die Originaldaten können 
in Papierform oder als elektronische Dokumente existieren. 


TMF-1044 


Ergebnisqualität 


Arts et al. 2001, Arts et al. 2002a, Califf et al. 1997, Cnattingius et al. 1990, Gissler et al. 1996, 
Hakansson et al. 2001, Jensen et al. 2002, Khosla et al. 2000, Lin et al. 2004, Lu et al. 1995, Mullooly 
1990, Maruszewksi et al. 2005, Nielsen et al. 1996, Ose et al. 2004, O’Sullivan et al. 1996, Teperi 
1993, Pogash et al. 2001, Schmidt et al. 1995, Vestberg et al. 1997, Weiss et al. 1993, Weiss 1998 


Die Berechnung erfolgt für einen Datenbestand. Die Berechnung des Indikators ist nur für 
Datenelemente sinnvoll. 


Dieser Indikator bildet das Ergebnis einer Source Data Verification (Originaldatenabgleich) ab und 
wird auch für die Fallzahlplanung der Source Data Verification benötigt. Der Indikator überprüft nur 
die Übereinstimmung der Registerdaten mit den Originaldaten und enthält keine Aussage über den 
Wahrheitsgehalt der Daten. Die Originaldaten werden bei der Berechnung des Indikators als „wahr“ 
angenommen. Dann können bei Nichtübereinstimmung die Registerdaten nur noch Datenfehler 
oder fehlende Werte sein. 

Der Indikator ist verwandt mit den Indikatoren „Übereinstimmung der Registerdaten mit den 
Originaldaten bezogen auf Beobachtungseinheiten“, „Konkordanz“ und „Genauigkeit der Register- 
daten“, 


Anzahl der Werte, die nicht mit den Originaldaten übereinstimmen 


Anzahl überprüfter Werte 


II Vorgehensweise 


1) Vergleich der Werte des Datenelements mit den entsprechenden Werten aus den Originaldaten 
2) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Übereinstimmung mit den Originaldaten (und damit die 
Datenqualität). Welche Rate noch akzeptabel ist, hängt von der vorgesehenen Datennutzung ab. 
Eine hohe Rate kann ein Hinweis auf Probleme bei der Erhebung oder Erfassung der Registerdaten 
sein. 


Verfügbare Zeit und verfügbares Personal für die Datenerhebung; Qualifikation des Datenerhebungs- 
personals; von der Ersterfassung unabhängige Zweiterfassung der Registerdaten 


Il.2 Qualitätsindikatoren 


1.2.3.3 Übereinstimmung der Registerdaten mit den Originaldaten 


bezogen auf Beobachtungseinheiten 


Übereinstimmung der Registerdaten mit den Originaldaten bezogen auf Beobachtungseinheiten 


Originaldaten: Die Daten, aus denen die Registerdaten extrahiert wurden. Die Originaldaten können 
in Papierform oder als elektronische Dokumente existieren. 


TMF-1045 


Ergebnisqualität 


Arts et al. 2001, Arts et al. 2002a, Califf et al. 1997, Cnattingius et al. 1990, Gissler et al. 1996, 
Hakansson et al. 2001, Jensen et al. 2002, Khosla et al. 2000, Lin et al. 2004, Lu et al. 1995, Mullooly 
1990, Maruszewksi et al. 2005, Nielsen et al. 1996, Ose et al. 2004, O’Sullivan et al. 1996, Teperi 
1993, Pogash et al. 2001, Schmidt et al. 1995, Vestberg et al. 1997, Weiss et al. 1993, Weiss 1998 


Die Berechnung erfolgt für einen Datenbestand. Die Berechnung des Indikators ist nur für 
Datenelemente sinnvoll. 


Dieser Indikator bildet das Ergebnis einer Source Data Verification (Originaldatenabgleich) ab und 
wird auch für die Fallzahlplanung der Source Data Verification benötigt. Der Indikator überprüft nur 
die Übereinstimmung der Registerdaten mit den Originaldaten und enthält keine Aussage über den 
Wahrheitsgehalt der Daten. Die Originaldaten werden bei der Berechnung des Indikators als „wahr“ 
angenommen. Dann können bei Nichtübereinstimmung die Registerdaten nur noch Datenfehler 
oder fehlende Werte sein. 


Der Indikator ist verwandt mit den Indikatoren „Übereinstimmung der Registerdaten mit den 
Originaldaten bezogen auf Datenelemente“, „Konkordanz“ und „Genauigkeit der Registerdaten“. 


Anzahl Beobachtungseinheiten mit mindestens einem Fehler 


Anzahl überprüfter Beobachtungseinheiten 


œo 
H 


II Vorgehensweise 


1) Festlegung der Beobachtungseinheit (z.B. Patient, Meldung, Meldebogen) 
2) Bestimmung der Anzahl Fehler für jede Beobachtungseinheit 
3) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto schlechter ist die Übereinstimmung mit den Originaldaten (und damit die 
Datenqualität). Welche Rate noch akzeptabel ist, hängt von der vorgesehenen Datennutzung ab. 
Eine hohe Rate kann ein Hinweis auf Probleme bei der Erhebung oder Erfassung der Registerdaten 
sein. 


Verfügbare Zeit und verfügbares Personal für die Datenerhebung; Qualifikation des Datenerhebungs- 
personals; von der Ersterfassung unabhängige Zweiterfassung der Registerdaten 


Il.2 Qualitätsindikatoren 


1l.2.3.4 Vollständigkeit der Registerdaten 


Vollständigkeit der Registerdaten 


Vollständigkeit: Hier das Ausmaß, in dem die notwendigen Daten, die in das Register eingehen 
könnten, auch tatsächlich eingegangen sind [Arts et al. 20022]. 


TMF-1046 


Ergebnisqualität 


Arts et al. 2002a, Barrie/Marsh 1992, Bobrowski et al. 1999, Goldberg et al. 1980, Hassey et al. 2001, 
Hogan/Wagner 1997, Jensen et al. 2002, Jung/Winter 2000, Katalinic 2005, Kuntoro et al. 1994, 
Lindquist 2004, Logan et al. 2001, Naumann/Rolker 2000, Nielsen et al. 1996, Parkin/Muir 1992, 
Teppo et al. 1994, Topp et al. 1997, Vestberg et al. 1997 


Die Berechnung kann für einen einzelnen Datensatz, für eine einzelne Beobachtungseinheit und für 
einen Datenbestand durchgeführt werden. Die Berechnung des Indikators ist nur für Datenelemente 
sinnvoll. 


Vollständigkeit kann auch definiert werden als Anteil Patienten/Personen mit vollständigen Daten 
oder als Sensitivität [Hassey et al. 2001, Nielsen et al. 1996], d.h. als der Anteil der Patienten/ 
Personen, die ein im Register gespeichertes Merkmal tatsächlich aufweisen, unter der Gesamtheit 
aller Patienten/Personen, die dieses Merkmal in der Realität besitzen. 


Dieser Indikator ist wichtig für die korrekte Schätzung von Inzidenzen und Prävalenzen. Er ist mit den 
Indikatoren „Konkordanz“ und „Genauigkeit der Registerdaten“ verwandt. Die Vollständigkeit der 
Rekrutierung wird durch den Indikator „Rekrutierungsrate“ erfasst. Als Quellen für die Festlegung 
der Daten, die in das Register eingehen könnten, können andere Register, Todesbescheinigungen, 
Abrechnungsdaten der Krankenkassen etc. herangezogen werden. 


Anzahl der im Register vorhandenen Werte [Naumann/Rolker 2000] 


Anzahl der im Register vorhandenen Werte + Anzahl der im Register fehlenden Werte (= Anzahl der 
Werte, die in das Register eingehen könnten) [Naumann/Rolker 2000] 
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II Vorgehensweise 


1) Identifizierung der Daten bzw. Fälle, die in das Register eingehen sollten 
2) Prüfung, ob diese Daten bzw. Fälle im Register vorhanden sind 
3) Berechnung von Zähler, Nenner und Rate 


Je höher die Rate, desto vollständiger sind die Daten und desto besser ist die Datenqualität. Welche 
Rate noch akzeptabel ist, hängt von der vorgesehenen Datennutzung ab. 


Verfügbare Zeit und verfügbares Personal für die Datenerhebung; Qualifikation des Datenerhebungs- 
personals; Vollständigkeit der den Registerdaten zugrunde liegenden Originaldokumente 


Il.2 Qualitätsindikatoren 


11.2.3.5 Übereinstimmung mit Verfahrensregeln 


Übereinstimmung mit dem Studienplan 


Studienplan: Ein oder mehrere Dokumente, die alle wesentlichen Aspekte eines Registers oder einer 
Kohortenstudie beschreiben (z.B. Einschluss- und Ausschlusskriterien für Fälle, Meldezeiträume, 
Zeitintervalle für Untersuchungen, Untersuchungs- und Analysemethoden) 


TMF-1047 


Ergebnisqualität 


DAE 2004, Gaus 2003, Whitney et al. 1998 


Die Berechnung erfolgt für einen Datenbestand. 


Die Übereinstimmung mit dem Studienplan ist die Basis für die Nutzbarkeit der Registerdaten. Für 
eine verfeinerte Analyse könnten die Abweichungen vom Studienplan gewichtet werden. 


Anzahl Abweichungen vom Studienplan 


Anzahl überprüfter Patienten/Personen 


1) Festlegung der zu überprüfenden wesentlichen Elemente des Studienplans und der Verfahren zur 
Messung von Abweichungen (z.B. bei Einhaltung der Zeitintervalle für Untersuchungen die Angabe 
einer akzeptablen Zeitdifferenz zwischen geplanter und tatsächlicher Untersuchung) 


2) Bestimmung aller Abweichungen vom Studienplan 

3) Berechnung von Zähler, Nenner und Rate 

Alternative Berechnungsmöglichkeit: 

Mittlere Anzahl von Abweichungen vom Studienplan pro Patient/Person 


Je höher die Rate, desto schlechter ist die Datenqualität. Von der geplanten Datennutzung hängt es 
ab, welches Ausmaß an Abweichungen akzeptabel ist. 
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Einflussfaktoren 


Motivation und Qualifikation des Datenerhebungspersonals; Motivation der Patienten/Personen; 
Form und Inhalt des Studienplans; klare und eindeutige Beschreibung aller Datenelemente; klare 
und eindeutige Regeln für die Datenerhebung und -erfassung; Qualität der technischen Infrastruktur 
(automatisches Meldeverfahren zur Wiedereinbestellung, Möglichkeit zur Erfassung von Adress- 
wechseln, Meldung von Zentrumswechseln) 
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Il.2 Qualitätsindikatoren 


Il.2.3.6 Repräsentativität der Registerdaten 


Repräsentativität der Registerdaten 


Repräsentativität: Die im Register erfasste Population ist eine Stichprobe der zu untersuchenden 
Gesamtpopulation, die in den wesentlichen Einflussgrößen mit der Gesamtpopulation weitgehend 
übereinstimmt. 


TMF-1048 


Ergebnisqualität 


Projektpartner 


Die Berechnung erfolgt für einen Datenbestand. 


| 


Die Repräsentativität ist wichtig für die Verallgemeinerbarkeit von Auswertungsergebnissen. 
Allerdings sind aus der Literatur keine Kriterien bekannt, welche eine objektive Messung der 
Übertragbarkeit der aus Registerdaten gewonnenen Ergebnisse auf die entsprechende Grundge- 
samtheit erlauben. 


Der Indikator ist nur relevant für Register, die nicht die gesamte Zielpopulation, sondern nur einen 
repräsentativen Teil der Zielpopulation erfassen sollen. 
Bei der Festlegung der wesentlichen Einflussgrößen können anderweitig bekannte Inzidenzen oder 


Prävalenzen herangezogen werden (z.B. der Anteil drogensüchtiger HIV-Infizierter an der Gesamtzahl 
der HIV-Infizierten). 


Anzahl der Einflussgrößen mit erwarteter Verteilung 


Anzahl überprüfter Einflussgrößen 


1) Auswahl der für die Repräsentativität wesentlichen Einflussgrößen 
2) Bestimmung der Einflussgrößen für die Population des Registers 
3) Vergleich der Registerpopulation mit der Gesamtpopulation 


4) Berechnung von Zähler, Nenner und Rate 
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II Vorgehensweise 


Je höher die Rate, desto besser ist die Repräsentativität und damit die Datenqualität. Welche Rate 
noch akzeptabel ist, hängt von der vorgesehenen Datennutzung ab. 


Art der Zentren (z.B. Krankenhaus, niedergelassener Arzt); räumliche Verteilung der Zentren (z.B. 
Großstadt, Kleinstadt, Dorf); unterschiedliche Patientenkollektive in verschiedenen Zentren 


11.3 Qualitatsscore 


11.2.4 Schwellenwerte 


Ublicherweise werden bei ratenbasierten Indikatoren Schwellenwerte festge- 
legt, mit denen auffallige von unauffalligen Werten unterschieden werden. 
Dieses Vorgehen wird z.B. von der JCAHO empfohlen [JCAHO 1990]. Bekannte 
Indikatorensets im Gesundheitswesen wie die Qualitätsindikatoren der Agen- 
cy for Healthcare Research and Quality (AHRQ)S geben durchgehend Schwel- 
lenwerte an. Auch zur Anwendung dieser Leitlinie ist daher ein individueller 
Schwellenwert pro Indikator für die Unterscheidung von (aus Sicht der Daten- 
qualität) „auffälligen“ und „unauffälligen“ Indikatorwerten erforderlich. Dies 
ist die Voraussetzung, damit aus den einzelnen Indikatorwerten ein Gesamt- 
score zur Beurteilung der Datenqualität (s. Kap. II.3) gebildet werden kann. 
Bei der Literatursichtung wurden keine Evidenz-basierten Empfehlungen für 
Schwellenwerte gefunden. Angesichts der deutlichen Ausweitung der Indika- 
toren wird in Version 2.0 der Leitlinie auf die Angabe von erfahrungsbasierten 
Vorschlagen fiir Schwellenwerte verzichtet. Diese finden sich zum Teil in den 
Anwendungsempfehlungen fiir Register, Kohorten und Data Repositories in 
Kapitel VI. Bei Anwendung dieser Leitlinie ist es daher regelhaft erforderlich, 
vorhabensspezifische Schwellenwerte zu formulieren. 


11.3 Qualitatsscore 


Zur Steuerung der Empfehlungen miissen die Qualitatsindikatoren zu einem 
Merkmal zusammengefasst werden. In der Medizin bedient man sich hierzu 
haufig eines Scores. Holle 1995 definiert einen klinischen Score wie folgt: 


Ein klinischer Score ist eine Messvorschrift fiir ein Merkmal aus dem Bereich der kli- 
nischen Medizin, die aus einer genau operationalisierten Zusammenfassung von meh- 
reren (i.d.R. mehr als zwei) Komponenten besteht und zu einer mindestens ordinalen 
Bewertung führt. [Holle 1995, S. 4] 


Diese Definition lässt sich bei Weglassen des Adjektivs klinisch ohne Schwie- 
rigkeiten auf die gegebene Fragestellung übertragen. Bei der Bewertung eines 
Datenbestandes handelt es sich weiterhin um eine Zustandsbeschreibung und 
somit um einen evaluativen Score, in Abgrenzung zum diskriminativen und 
prädiktiven Score als weitere von Holle beschriebene Varianten. Die Anwen- 
dung von Scores zur Beschreibung von Datenqualität wurde vereinzelt be- 
schrieben [Tolonen et al. 2006]. 


Die ersten Schritte zur Bildung des Qualitätsscores sind mit der Identifikation 
und Beschreibung der Qualitätsindikatoren abgeschlossen. Hiermit sind die 
Komponenten des Scores festgelegt. Ein nächster Schritt besteht in der Fest- 


6 s. Agency for Healthcare Research and Quality (AHRQ) Quality Indicators unter 
http://www.qualityindicators.ahrg.gov/ 
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legung einer geeigneten Kombination der Komponenten, diez.B. imRahmen 
einer multivariaten Regressionsanalyse empirisch abzuleiten wäre. Da zum 
Zeitpunkt der Leitlinienerstellung weder ein geeigneter Datenbestand noch 
ein externes Kriterium zur Datenqualität zur Verfügung stand, wurden Ge- 
wichte für die einzelnen Qualitätsindikatoren normativ-analytisch festgelegt. 
Abschließend bleibt noch die Notwendigkeit zur Festlegung eines Verfahrens 
zur Berechnung des Scorewertes. Auch hier wird dem in Holle 1995 beschrie- 
benen Konzept der gewichteten Summe gefolgt und so die kategorielle, qua- 
litative Eingangsinformation der einzelnen Qualitätsindikatoren (auffällig/ 
unauffällig) auf ein pseudo-quantitatives Niveau angehoben. Hierbei ist zu 
berücksichtigen, dass nicht in jedem Falle alle Komponenten (= Qualitätsin- 
dikatoren) zur Verfügung stehen. Regelhaft ist dies bei der ersten Analyse für 
die Indikatoren aus der SDV derFall, da diese noch nicht durchgeführt wurde. 
Über eine Transformation sollte daher sichergestellt werden, dass der Gesamt- 
Scorewert unabhängig von der Anzahl der bestimmten Qualitätsindikatoren 
immer die gleichen Zahlenwerte einnehmen kann. Im letzten Schritt sollte 
der Gesamt-Scorewert für die Steuerung der Empfehlungen auf eine katego- 
rielle Bewertung der Datenqualität zurückgeführt werden. Die erforderliche 
Untersuchung von Reliabilität und Validität des Scores bleibt nachfolgenden 
Studien vorbehalten. 


Den beispielhaft angegebenen Gewichten liegt nun die Überlegung zugrunde, 
dass die Indikatoren der Ebene Richtigkeit die größte Relevanz besitzen, die- 
jenigen der Ebene Organisation eine mittlere und die Indikatoren der Ebene 
Integrität die geringste. Als zulässige Gewichte wurden ganzzahlige Werte 
zwischen ı und 9 festgelegt, um einerseits eine gleichmäßige Verteilung der 
Werte auf die Ebenen und andererseits eine Differenzierung zwischen Indika- 
toren der gleichen Ebene zu ermöglichen. Mit der Voraussetzung, dass das 
geringstmögliche Gewicht den Wert 1 erhält, werden den Indikatoren der Ebe- 
ne Richtigkeit Werte im Bereich von 7 bis 9 zugeteilt. Die Indikatoren der an- 
deren Ebenen nehmen dann Werte im Bereich von 4 bis 6 (Ebene Organisation) 
bzw. ı bis 3 (Ebene Integrität) ein. Entsprechend dem Projektansatz sollten die 
Indikatoren aus der SDV das höchste Gewicht erhalten, um Situationen aus- 
zuschließen, bei denen Qualitätsscore und Übereinstimmung bei der SDV zu 
stark abweichen. Innerhalb der Ebenen erfolgte dann eine weitere Differen- 
zierung nach Experteneinschätzung. Tabelle 3 zeigt die beispielhaft angege- 
benen Gewichte im Überblick. 


Der Qualitätsscore wird wie folgt ermittelt: 


1. Bewertung einer Rate im Vergleich mit dem Schwellenwert des Indika- 
tors als auffällig oder unauffällig. Liegt die Rate im unauffälligen Be- 
reich erhält der Indikator den Rohwert 1, ansonsten o. Für den Vergleich 
mit dem Schwellenwert werden zwei Alternativen angeboten: 

Vergleich der berechneten Rate mit dem vorab festgelegten Schwel- 
lenwert 
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11.3 Qualitätsscore 


Berechnung eines Intervalls, welches die wahre Rate mit 95%iger 
Wahrscheinlichkeit umschließt. Das Vorgehen zur Berechnung die- 
ses Intervalls ist in Kapitel II.3.1 beschrieben. Eine Rate wird dann als 
auffällig gewertet, wenn sowohl untere als auch obere Grenze des 
95%-Konfidenzintervalls im Vergleich mit dem vorab festgelegten 


Schwellenwert auffällig sind. 


2. Der Rohwert wird für jeden Indikator mit seinem Gewicht multipliziert. 


Es ergibt sich der Teil-Scorewert (ST). 


3. Bildung der Summe aller Teil-Scorewerte (ST) der bestimmten Qualitäts- 


indikatoren. 


4. Bildung der Summe aller Gewichte (SG) der bestimmten Qualitätsindi- 


katoren. 


5. Standardisierung durch Transformation auf eine Skala zwischen o und 


100: Gesamt-Scorewert = 100 x (ST/SG). 


Tab.3 Beispiele für relative Gewichte der Qualitätsindikatoren 


Gewicht 


Qualitätsindikator 


Ebene Integrität 

Übereinstimmung mit Vorwert (TMF-1001) 

Konkordanz (TMF-1002) 

Widerspruchsfreiheit (TMF-1003) 

m Endlosüberlebende (TMF-1035) 

m Sichere Widersprüche/Fehler (TMF-1004) 

m Mögliche Widersprüche/Warnungen (TMF-1005) 

Werteverteilung (TMF-1006) 

m Bevorzugung bestimmter Endziffern (TMF-1007) 

m Werteverteilung der durch Untersucher erfassten Parameter (TMF-1009) 
Œ Werteverteilung der durch Geräte erfassten Parameter (TMF-1010) 
Œ Werteverteilung von Befunden (TMF-1011) 

Œ Werteverteilung von Parametern zwischen Zentren (TMF-1052) 
Untersuchungen am Wochenende (TMF-1008) 

Fehlende Einträge 

m Fehlende Module (TMF-1012) 

m Fehlende Werte bei Datenelementen (TMF-1013) 

m Fehlende Werte bei mandatorischen Datenelementen (TMF-1014) 
Œ Fehlende Werte bei optionalen Datenelementen (TMF-1015) 


m Datenelemente mit Wert unbekannt o.ä. (TMF-1016) 


m Datenelemente mit bestehenden Einträgen bei allen Beobachtungseinheiten 


(TMF-1017) 
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Qualitätsindikator Gewicht 


Ausreißer bei stetigen Datenelementen (TMF-1018) 2 
Werte, die die Messbarkeitsgrenzen von Verfahren unter- oder überschreiten (TMF-1019) 1 
Werte aus Standards (TMF-1020) 2 
Unerlaubte Werte 

m Unerlaubte Werte bei qualitativen Datenelementen (TMF-1021) 1 
m Unerlaubte Werte bei qualitativen Datenelementen zur Kodierung von Missings i 

(TMF-1022) 
m Unerlaubte Werte zur Kodierung von fehlenden Modulen (TMF-1023) 1 
m Unerlaubte Werte bei quantitativen Datenelementen zur Kodierung von Unter- oder i 
Uberschreitungen von Messbarkeitsgrenzen (TMF-1024) 

Datenelemente mit unspezifischen Werten (TMF-1025) 1 
Beobachtungseinheiten mit unbekanntem Primärtumor (TMF-1026) 2 
Nachweis bekannter Korrelationen (TMF-1027) 1 
Umfang der Metadaten bei Untersuchungen (TMF-1050) 1 
Ebene Organisation 

Aktualitat der gespeicherten Daten (TMF-1028) 6 
Dubletten im Datenbestand (TMF-1029) 4 
Rekrutierungsrate (TMF-1030) 5 
m DCO-Rate (Death Certificate Only) (TMF-1051) 6 
Verweigerungsraten 

m Verweigerungsrate von Untersuchungen (TMF-1031) 4 
m Verweigerungsrate von Modulen (TMF-1032) 4 
m Verweigerungsrate bei einzelnen Datenelementen (TMF-1033) 4 
Vorzeitig aus dem Register ausscheidende Beobachtungseinheiten (TMF-1034) 5 
Synonyme (TMF-1036) 4 
Homonyme (TMF-1037) 4 
Einzelmeldungen pro Beobachtungseinheit (TMF-1038) 4 
Solitäre Meldungen von Pathologen (TMF-1039) 5 
Zurückgewiesene Meldungen (TMF-1040) 5 
Datenquellen pro Beobachtungseinheit (TMF-1041) 4 
Beobachtungseinheiten mit Follow-up (TMF-1042) 6 
Ebene Richtigkeit 

Genauigkeit der Registerdaten (TMF-1043) 8 


Übereinstimmung der Registerdaten mit den Originaldaten bezogen auf Datenelemente 
(TMF-1044) 
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Qualitatsindikator Gewicht 


Ubereinstimmung der Registerdaten mit den Originaldaten bezogen auf Beobachtungs- 


einheiten (TMF-1045) : 
Vollstandigkeit der Registerdaten (TMF-1046) 7 
Ubereinstimmung mit Verfahrensregeln (TMF-1047) 7 
Repräsentativität der Registerdaten (TMF-1048) 7 


Bei der Bildung des Gesamt-Scorewertes beeinflusst die Anzahl von Indikato- 
ren einer Ebene die Bedeutung dieser Ebene fiir die Qualitatsbewertung. So 
liegt die Summe der Gewichte bei Verwendung aller Indikatoren bei 43 (Inte- 
grität), 70 (Organisation) und 46 (Richtigkeit). Auch bei Auswahl einer Teil- 
menge von Indikatoren muss mit wechselnden Bedeutungen der Ebenen fiir 
den Gesamt-Scorewert gerechnet werden. Die Anzahl von Indikatoren sowie 
deren Verteilung auf die Ebenen ist daher bei der Interpretation eines Gesamt- 
Scorewertes zu berücksichtigen. Ggf. kann die getrennte Berechnung von Teil- 
Scorewerten für die einzelnen Ebenen sinnvoll sein. 


Bei der Zuordnung der möglichen Zahlenwerte von o bis 100 des standardisier- 
ten Gesamt-Scorewertes zu einem qualitativen Merkmal wurde eine Einteilung 
in fünf Kategorien mit proportionaler Zuteilung der Werte gewählt. Tabelle 4 
zeigt die sich ergebende Einteilung. 


Tab.4 Einteilung der Kategorien des Qualitätsscores 


Gesamt-Scorewert Beurteilung 


0 bis unter 20 sehr schlecht 
20 bis unter 40 schlecht 

40 bis unter 60 moderat 

60 bis unter 80 gut 

80 bis 100 sehr gut 


Angesichts der Zunahme von Indikatoren in Version 2.0 der Leitlinie sind die 
Gewichte und das beschriebene Vorgehen zu ihrer Verdichtung nur beispielhaft 
zu verstehen. Es ist davon auszugehen, dass nur in ganz seltenen Fällen alle 
Indikatoren gleichzeitig in einem Vorhaben zur Anwendung kommen. Beieiner 
Auswahl von Indikatoren sind dann jedoch die Gewichte zu überprüfen und 
ggf. anzupassen. Anregungen für eine von der Art des Vorhabens abhängige 
Auswahl und Gewichtung von Indikatoren finden sich in den Anwendungs- 
empfehlungen zu Registern, Kohorten und Data Repositories in Kapitel VI. Für 
ein Vorhaben sind damit die Angaben in Tabelle 5 festzulegen: die Auswahl der 
berücksichtigten Indikatoren sowie deren Schwellenwerte und Gewichte. 
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Tab.5 Vorhabensbezogene Eigenschaften der Qualitätsindikatoren 


Qualitätsindikator Auswahl (ja/nein) Schwellenwert Gewicht 


Ebene Integrität 

Übereinstimmung mit Vorwert (TMF-1001) 
Konkordanz (TMF-1002) 
Widerspruchsfreiheit (TMF-1003) 


11.3.1 Bildung eines Intervalls um die wahre Rate (95%-Konfidenzintervall) 


Das Intervall um die wahre Rate wird wie von Hartung etal. [1995] angegeben 
unter Verwendung der F-Verteilung mit Hilfe der Pearson-Clopper-Werte er- 
mittelt. Die Vorgehensweise ist für kleine Fallzahlen geeignet. Die Irrtums- 
wahrscheinlichkeit wird mit 0,05 angesetzt (= æ). Gleichung (1) zeigt die For- 
mel zur Berechnung der unteren Grenze p, für das 95%-Konfidenzintervall der 
wahren Rate, Gleichung (2) die Formel zur Berechnung der oberen Grenze p,. 


mE 


= 2m,2(n-m+1);«/2 
Pi” : 
N-M+14+ MP yn 2m-m);a/2 ( ) 
(m+1)F + -m);ı- 
pP, = 2(m+1),2(n-m);ı-a/2 6) 


n-m+ (m+ IF ae 


Als n ist jeweils die als Nenner ermittelte Zahl, als m die als Zähler ermittelte 
Zahleinzusetzen. Falls keine Ereignisse eingetreten sind, also m =0, ist p,=0. 
Falls Zähler und Nenner gleich sind, also m =n, ist p,=1. p, und p, sind beides 
Raten, keine absoluten Häufigkeiten. In der Berechnung von p, gilt «/2 = 0,025, 
in der Berechnung von p, gilt 1-4/2 = 0,975. 


Anhang 1 enthält eine Tabelle mit Kombinationen von Nenner und Zähler. 
Folgende Werte wurden hierbei für n berücksichtigt: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 
11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 30, 40, 50, 60, 70, 80, 90, 100, 120, 140, 160, 
180, 200, 250, 300, 350, 400, 450, 500, 550, 600, 650, 700, 750, 800, 850, 900, 
950, 1.000, 2.000, 3.000, 4.000, 5.000, 6.000, 7.000, 8.000, 9.000, 10.000. 
m wurde für alle n über die Raten zwischen o und 0,5 in Schritten von 0,01 
ermittelt. Nicht ganzzahlige Werte wurden auf den nächsten ganzzahligen 
Wert aufgerundet. Hieraus ergaben sich 1928 unterschiedliche Kombinatio- 
nen. Das F-Quantil wurde mit der Inversen Verteilungsfunktionen von SPSS® 
12.0.1 ermittelt. Die Werte für p, wurden abschließend auf 2 Nachkommastel- 
len abgerundet, die Werte für p, auf 2 Nachkommastellen aufgerundet. 
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Il.4 Metadaten von empirischen Forschungsvorhaben 


Zusätzlich zur Datenqualität sollen bei den Empfehlungen weitere Charakteris- 
tika eines Vorhabens berücksichtigt werden. Einerseits können diese ebenfalls 
zur Steuerung von SDV und Feedback beitragen. So ist selbstverständlich eine 
Fallzahlplanung für eine SDV unsinnig, falls Originaldaten gar nicht zur Verfü- 
gung stehen. Anderseits handelt es sich um Informationen, die sinnvollerweise 
Bestandteil eines Berichtswesen sind, wiez.B. der Name des Vorhabens oder Be- 
zeichnungen der Erhebungszentren. Diese vorhabensspezifischen Charakteris- 
tika werden als Metadaten, also Daten über Daten [Berners-Lee 1997] bezeichnet. 


Für Version 1.0 der Leitlinie wurden Vorschläge vom IMIBE und den Projekt- 
partnern konsekutiv in den Projektsitzungen eingebracht und über das Protokoll 
zum Review zurückgespielt. Für eine Operationalisierung der Vorschläge wur- 
de ein Rückgriff auf internationale Standards oder Quasi-Standards angestrebt. 
In Frage kommende Konzepte wurden daher auf Abdeckung der konsentierten 
Merkmale geprüft. Die erforderlichen Dokumente wurden über das World Wide 
Web bezogen. In diese Prüfung wurden folgende Konzepte eingeschlossen: 


= Clinical Data Interchange Standards Consortium (CDISC) (http://www. 
cdisc.org/) 
Study Data Tabulation Model (SDTM), Version 1.0, 25.6.2004 
Operational Data Model (ODM), Version 1.2, 19. Dezember 2003 
Protocol Elements for Regulated Clinical Trials, V2.0, 1. August 2005 
= ClinicalTrials.gov (http://www.clinicaltrials.gov/) 
Data Element Definitions, Dezember 2005 
= European Clinical Trials Database (http://eudract.emea.eu.int/) 
Clinical Trial Application Form, EUDRACT User ManualEUD 134, Ver- 
sion 1.3, April 2004 
= Health Level 7 (HL7) (www.hl7.org) 
HL7 Structured Clinical Trial Protocol, Release 1.0 
= IMIBE 
Standard Operating Procedure Prüfplan 
= International Conference on Harmonisation of Technical Requirements 
for Registration of Pharmaceuticals for Human Use (http://www.ich.org/) 
E3 - Structure and Content of Clinical Study Reports 
E6 - Good Clinical Practice 
Common Technical Document (CTD) 


Alleinig die Protocol Elements for Regulated Clinical Trials von CDISC (CDISC - 
PR) zeigten eine ausreichende Abdeckung der konsentierten Metadaten. Al- 
lerdings fehlt noch eine formale Repräsentation, wie sie z.B. beim HL7 Struc- 
tured Clinical Trial Protocol, Release 1.0 in Form eines XML-Schemas vorgelegt 
wird. Es wurde daher entschieden, wo möglich, die Metadaten auf CDISC-PR 
zurückzuführen, weitere Definitionen wie Wertebereiche dort, wo nötig, aus 
den Projektarbeiten abzuleiten. 
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Tabelle 6 zeigt die Metadaten mit ihrer Bezeichnung, der Art ihrer Verwendung 
innerhalb der Leitlinie, ggf. geeignete Merkmale bei CDISC - PR sowie den 


Wertebereich. 


Tab. 6 


Bezeichnung 
Allgemeine Angaben 
Bezeichnung 


Laufzeit der Kohorte 


Follow-Up-Frequenz 


Angestrebtes Niveau 
der Datenqualität 


Datenmanagement 


Form der 
Intervention 
(SDV, Feedback) 


Ressourcen 


Verfügbarkeit der 
Daten für eine SDV 


Kapazität für SDV 
pro Analysezeitraum 


Kapazität für SDV 
pro Besuch 


Aufwand für SDV 


Anzahl der Merkmale 
je Beobachtungs- 
einheit 


Je Zentrum 
m Bezeichnung 


m Zahl der Patien- 
ten im Analyse- 
zeitraum 
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Art der Verwendung CDISC-PR 


Bericht 


Empfehlung 
Follow-up Analyse 


Empfehlung 
Follow-up Analyse 


Bericht 


Entscheidung 
über Art 
der Empfehlungen 


Entscheidung über 
Art der Empfeh- 
lungen 


Festlegung Frequenz 
SDV 


Festlegung Frequenz 
SDV 


Fallzahlplanung 
Tiefe 


Bericht 


Fallzahlplanung 
Umfang 


119 Duration 

of subject 
participation 

122 Subject follow 
up 


230 Monitoring 
of trial 


(231 Site audits) 
(235 Site monito- 
ring statement) 
236 Data quality/ 
integrity statement 


255 Source docu- 
ments 


Wertebereich 


Neu: Text 
CDISC/SDTM: ISO 8601 


CDISC/SDTM: ISO 8601 


Neu: entsprechend Score TMF 


Monitoring der Studie: 

[SDV ja | SDV nein] 

Feedback: 

[Feedback ja | Feedback nein] 
Art des Feedbacks: [nur die eige- 
nen Ergebnisse | anonymisierter 
Vergleich | offener Vergleich] 


Originaldokumentation: [Original- 
dokumente verfiigbar | Original- 
dokumente nicht verfügbar] 


Neu: Anzahl Akten pro Monat 
(Default - Summe über alle 
Zentren der Zahl der Patienten 
im Analysezeitraum) 


Neu: Anzahl Akten pro Besuch 
(Default 30) 


Neu: Integer 


Neu: Text 


Neu: Integer 


I.5 Planung der Source Data Verification 


Il.5 Planung der Source Data Verification 


11.5.1 Einführung 


Die Literaturrecherche zu Version 1.0 der Leitlinie lieferte keine durch empiri- 
sche Untersuchungen begründeten Empfehlungen für die Durchführung eines 
Monitorings mit einer auf Stichproben basierenden Source Data Verification. 
Vereinzelt werden Aussagen zum Umfang der Stichprobe für eine SDV gemacht: 


= 5% der wichtigen und 1% der anderen CRF [Pogash et al. 2001] 

= Mindestens 10% der Daten pro Zentrum [Califf et al. 1997] 

= 10% der Patienten, bei wichtigen Studien bis zu 40% der Patienten [Weiss 
1998] 

= Ungefahr1o% derin einem Jahr angefallenen Operationen, 1/3 der betei- 
ligten Kliniken [Häkansson et al. 2001] 

= Zufällige Auswahl von 13% der Patienten [O’Sullivan et al. 1996] 

m 15% bis 20% der Patienten [Weiss et al. 1993] 


Daneben gibt es Ansätze, den Umfang der SDV von der Datenqualität abhängig 
zu machen, d.h. häufigeres Monitoring bei niedriger Qualität und selteneres 
Monitoring bei hoher Qualität: 


= Werden mehr als 10 Abweichungen pro 10.000 Felder gefunden, werden 
weitere 5% der CRF geprüft [Pogash et al. 2001]. 

= Bei den ersten 10% der CRF werden alle Datenelemente überprüft. Die 
aus dieser Stichprobe geschätzte Fehlerrate bestimmt den Umfang der 
partiellen Kontrolle der restlichen Datenelemente [Mullooly 1990]. 

= Ose et al. 2004 beschreiben verschiedene Ansätze zu einem adaptiven 
Monitoring bei klinischen Studien. 


In dieser Leitlinie wird ein anderer, formaler Weg zur Bestimmung der Stich- 
probengröße eingeschlagen, wie er in ähnlicher Weise bei der Fehlbelegungs- 
prüfung im Krankenhausbereich genutzt wird [VdAK et al. 0.J.]. Die Stichpro- 
bengröße wird an die Datenqualität angepasst. Bei Zentren mit guter Daten- 
qualität fällt die Stichprobe für die SDV kleiner aus als bei Zentren mit schlech- 
ter Datenqualität. Die Datenqualität wird anhand des Qualitätsscores 
und - sofern bereits eine SDV durchgeführt wurde - des Ergebnisses der vor- 
herigen SDV bestimmt. Die Stichprobengröße wird mittels bekannter statis- 
tischer Verfahren zur Fallzahlplanung [beschrieben z.B. bei Elashoff 1999] 
berechnet. Zur vollständigen Planung der SDV gehören die Bestimmung des 
Umfangs, der Tiefe und der Frequenz der SDV für jedes Zentrum. 


11.5.2 Bestimmung des Umfangs der Source Data Verification 


Der Umfang ist definiert als die Anzahl Beobachtungseinheiten (z.B. Personen, 
Patienten, Behandlungsfälle, Meldungen, Erhebungsbögen) pro Zentrum, bei 
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der eine SDV durchgeführt werden soll. Diese werden in jedem Zentrum zufäl- 
lig ausgewählt. Die Fallzahlplanung basiert hier auf der Schätzung des Anteils 
an Beobachtungseinheiten mit mindestens einem fehlerhaften Eintragin den 
Daten. Es kann eine Binomialverteilung angenommen werden, die durch die 
Normalverteilung approximiert wird. Um stärkere Fallzahlunterschiede zwi- 
schen Zentren mit guter und schlechter Datenqualität zu erreichen, wird die 
geforderte absolute Breite des Konfidenzintervalls in Abhängigkeit vom Wert 
des Qualitätsscores umso kleiner gewählt, je schlechter die Datenqualität ist. 


Für die Fallzahlschätzung müssen zuerst folgende allgemeine Festlegungen 
getroffen werden: 


1. Festlegung der Beobachtungseinheit, die für alle Zentren gleich gewählt 
werden muss. 

2. Festlegung der absoluten halben Breite ö des 95%-Konfidenzintervalls 
für jede Kategorie des Qualitätsscores. Das Konfidenzintervall hat die 
Form (Schätzwert -ö, Schätzwert +8) und liegt symmetrisch um den 
Schätzwert mit einem Abstand 6 > o. Die absolute Breite wird spezifiziert 
durch die Angabe des Abstandes 8 des Schätzwertes von den Intervall- 
grenzen. Tabelle 7 zeigt die empfohlenen Werte. Eine vorhabensspezifi- 
sche Anpassung an ein einzelnes Register oder eine Kohortenstudie ist 
möglich. Es ist darauf zu achten, dass ô umso kleiner gewählt wird, je 
schlechter die Datenqualität ist. 


Tab.7 Absolute halbe Breite des Konfidenzintervalls für die Kategorien des Qualitätsscores 


Gesamt-Scorewert Beurteilung Empfehlung für 6 
0 bis unter 20 sehr schlecht 0,01 
20 bis unter 40 schlecht 0,02 
40 bis unter 60 moderat 0,03 
60 bis unter 80 gut 0,04 
80 bis 100 sehr gut 0,05 


Danach wird für jedes Zentrum separat wie folgt vorgegangen: 


1. Festlegung des Anteils p an Beobachtungseinheiten mit mindestens 
einem fehlerhaften Eintrag in den Daten. Beim ı. Zyklus der Leitlinien- 
anwendung wird der vorab festgelegte Schwellenwert angesetzt (emp- 
fohlen ist p = 0,05), ab dem 2. Zyklus wird für p der Anteil an Beobach- 
tungseinheiten mit mindestens einem fehlerhaften Eintrag in den 
Daten aus der vorherigen SDV (Qualitätsindikator) verwendet. Hierbei 
sind zwei Sonderfälle zu berücksichtigen: 

Falls p>o,5, dann wird gesetzt p = 0,5. Mit dieser oberen Grenze wird 
eine auf Grund der gewählten Binomialverteilung eintretende Ver- 
ringerung der Fallzahl bei höheren Fehlerraten ausgeschlossen. 
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Falls p< 0,0062, dann wird gesetzt p = 0,0062. Mit dieser unteren Gren- 
ze wird in jedem Fall eine minimale SDV sichergestellt. Die Haufig- 
keit von 6.200 Fehlern auf 1 Million Beobachtungseinheiten entspricht 
dem Industriestandard in der Six Sigma-Methodologie [Lucas 2002]. 
2. Bestimmung von din Abhängigkeit vom ermittelten Wert des Qualitäts- 
scores. 
3. Berechnung der nicht-adjustierten Fallzahl n, nach der Formel in Glei- 
chung (3). Dabei ist z, „, das Quantil der Standard-Normalverteilung. Für 


1-a/2 


den hier vorgegebenen Fehler 1. Art a = 0.05 ist z, «2 = 1,96. 
p-p) 
n= 5? “Zua (3) 


4. Dadie im vorherigen Schritt berechnete Fallzahl n, größer sein kann als 
die Gesamtzahl aller Beobachtungseinheiten im Zentrum, ist eine Ad- 
justierung der Fallzahl für die Zentrumsgröße erforderlich. Sie geschieht 
nach der Formel in Gleichung (4). Hier ist N die Gesamtzahl aller Beob- 
achtungseinheiten im Zentrum (angegeben in den Metadaten) und n die 
adjustierte Fallzahl. Ein nicht-ganzzahliger Wert wird hier immer auf 
den nächsthöheren ganzzahligen Wert aufgerundet. n gibt an, wie vie- 
le Beobachtungseinheiten bei der nächsten SDV zu überprüfen sind. 


i (4) 


Beispiel 


p = 0,05 und ô = 0,04 ergibt eingesetzt in die rechte Seite der Gleichung (5) eine 
nicht-adjustierte Anzahl von zu prüfenden Beobachtungseinheiten n, = 114,05. 
Sei N = 100, dann ergibt sich aus Gleichung (6) eine adjustierte Anzahl von zu 
prüfenden Beobachtungseinheiten n = 53,28, die auf 54 aufgerundet wird. 
Das heißt: in diesem Fall werden 54 von 100 Beobachtungseinheiten in der 
SDV überprüft. 


Anhang 1 enthält eine Tabelle, in der für viele Konstellationen die Fallzahl di- 
rekt abgelesen werden kann. Für den Anteil p wurden dort in Schritten von 
0,01 alle Werte von 0,01 bis 0,5 sowie als untere Grenze 0,0062 berücksichtigt, 
für ö die Werte aus Tabelle 7. Für N wurden folgende Werte angesetzt: 10, 20, 
30, 40, 50, 60, 70, 80, 90, 100, 120, 140, 160, 180, 200, 250, 300, 350, 400, 450, 
500, 550, 600, 650, 700, 750, 800, 850, 900, 950, 1.000, 2.000, 3.000, 4.000, 
5.000, 6.000, 7.000, 8.000, 9.000, 10.000. Die sich ergebenden Werte für n 
wurden aufgerundet. 
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11.5.3 Bestimmung der Tiefe der Source Data Verification 


Unter der Tiefe der SDV wird hier die Angabe verstanden, wie viele (und wel- 
che) Datenelemente pro Beobachtungseinheit überprüft werden sollen. Hier 
sind zwei Alternativen vorgesehen: 


= Auswahl aller Datenelemente 
= Formale Fallzahlplanung (Annahme einer Binomialverteilung mit Ad- 


justierung der Fallzahl) 


Letzteres wird für jedes Zentrum wie folgt durchgeführt: 


1. Festlegung des Anteils p an Datenelementen mit einem fehlerhaften 


Eintrag in den Daten. Beim1. Zyklus der Leitlinienanwendung wird der 
vorab festgelegte Schwellenwert angesetzt (empfohlen ist p = 0,05), ab 
dem 2. Zyklus wird für p der Anteil an Datenelementen mit einem feh- 
lerhaften Eintrag in den Daten aus der vorherigen SDV (Qualitätsindi- 
kator) verwendet. Hierbei sind zwei Sonderfälle zu berücksichtigen: 
Falls p>o,5, dann wird gesetzt p = 0,5. Mit dieser oberen Grenze wird 
eine auf Grund der gewählten Binomialverteilung eintretende Ver- 
ringerung der Fallzahl bei höheren Fehlerraten ausgeschlossen. 
Falls p < 0,0062, dann wird gesetzt p=0,0062. Mit dieser unteren Gren- 
ze wird in jedem Fall eine minimale SDV sichergestellt. Die Häufig- 
keit von 6200 Fehlern auf ı Million Beobachtungseinheiten entspricht 
dem Industriestandard in der Six Sigma-Methodologie [Lucas 2002]. 
Bestimmung von 6 in Abhängigkeit vom ermittelten Wert des Qualitats- 
scores (s. Tab. 7). 
Berechnung der nicht-adjustierten Fallzahl n, nach der Formel in der 
Gleichung (5). Dabeiistz, „, das Quantil der Standard-Normalverteilung. 
Für den hier vorgegebenen Fehler 1. Art a = 0.05istz, „,„=1,96. 


1-0/2 


p(1-p) so? (5) 


. Da die im vorherigen Schritt berechnete Fallzahl n, größer sein kann als 


die Gesamtzahl aller Datenelemente, ist eine Adjustierung der Fallzahl 
erforderlich. Sie geschieht nach der Formel in Gleichung (6). Hier ist N 
die Gesamtzahl aller Datenelemente einer Beobachtungseinheit (ange- 
geben in den Metadaten) und n die adjustierte Fallzahl. Ein nicht-ganz- 
zahliger Wert wird hier immer auf den nächsthöheren ganzzahligen 
Wert aufgerundet. n gibt an, wie viele Datenelemente jeder Beobach- 
tungseinheit bei der nächsten SDV zu überprüfen sind. 


ma EN (6) 


notN 


100 


II.6 Planung des Feedbacks 


Beispiel 


p = 0,05 und 6 = 0,04 ergibt eingesetzt in die rechte Seite der Gleichung (5) 
eine nicht-adjustierte Anzahl von zu prüfenden Datenelementen (pro Beobach- 
tungseinheit) n, = 114,05. Sei N = 100, dann ergibt sich aus Gleichung (6) eine 
adjustierte Anzahl von zu prüfenden Datenelementen n = 53,28, die auf 54 
aufgerundet wird. Das heißt: in diesem Fall werden pro Beobachtungseinheit 
54 von 100 Datenelementen in der SDV überprüft. 


Die Auswahl der Datenelemente kann zufällig oder nach Wichtigkeit erfolgen. 
Zum Ablesen der Mindestzahl an Merkmalen pro Beobachtungseinheit kann 
ebenfalls die Tabelle in Anhang ı herangezogen werden (s. Kap. 11.5.2). 


11.5.4 Bestimmung der Frequenz der Source Data Verification 


Die aufgrund der Fallzahlplanung erforderliche SDV sollte unter Berücksich- 
tigung der vorhandenen Ressourcen (Kapazität für SDV pro Analysezeitraum 
und Besuch sind Teil der Metadaten, s. Kap. II.4) gleichmäßig auf den zur Ver- 
fügung stehenden Zeitraum bis zur nächsten Anwendung der Leitlinie auf- 
geteilt werden. 


Beispiel 
6 Monate Zeit für SDV mit Fallzahl von 139 Patienten 
SDV bei 30 Patienten pro Besuch möglich 


> 5 Besuche gleichmäßig auf 6 Monate aufteilen. 


Il.6 Planung des Feedbacks 


Ohne Information über die eigene Qualität lassen sich keine Defizite erkennen 
und existieren keine Anreize zur Qualitätsverbesserung [Selbmann 2000]. Daher 
ist das Feedback neben der SDV als weitere Interventionsmöglichkeit vorgese- 
hen. Jedes an der Datensammlung beteiligte Zentrum erhält einen individuel- 
len Bericht über seine Datenqualität. Der Bericht sollte folgenden Inhalt haben: 


Bezeichnung des Registers/der Kohorte 

Bezeichnung des Zentrums 

angestrebtes Niveau der Datenqualität 

Wert des Qualitätsscores (Scorewert und Kategorie) 

Werte der erhobenen Qualitätsindikatoren 

Schwellenwerte und Gewichtungen der erhobenen Qualitätsindikato- 
ren 

= Indikatordefinitionen für Qualitätsindikatoren mit auffälligem Wert 
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Je Zentrum können alternativ 


= nur die eigenen Ergebnisse oder 

= dieeigenen Ergebnisse zusammen mit anonymisierten Vergleichsdaten 
(Qualitätsindikatoren, Qualitätsscore) der anderen Zentren oder 

= die eigenen Ergebnisse zusammen mit offenen Vergleichsdaten (Quali- 
tatsindikatoren, Qualitatsscore) der anderen Zentren 


bekannt gemacht werden. Für jedes Register/jede Kohortenstudie muss indi- 
viduell entschieden werden, welche Variante bevorzugt wird. Im Kompetenz- 
netz Parkinson findet derzeit eine vergleichende Untersuchung dieser drei 
Feedback-Strategien statt. Die ersten vorläufigen Ergebnisse erlauben noch 
keine Angabe einer Präferenz für eine der Feedback-Strategien. 


Die Empfehlungen zur Frequenz des Feedbacks variieren in der Literatur sehr 
stark (von monatlich bis jährlich). Als Minimum sollte ein Feedback immer 
dann erfolgen, wenn die Werte der Qualitätsindikatoren und des Qualitäts- 
scores im Rahmen der Anwendung dieser Leitlinie neu ermittelt worden sind. 


Il.7 Zeitpunkt der nächsten Analyse 


Der Zeitpunkt für die nächste Analyse ist mit einem Default von sechs Mona- 
ten vorbelegt. Eine Anpassung der Zeitspanne an die Gegebenheiten eines 
Vorhabens ist vorgesehen. Dabei sollte die Zeitspanne so groß gewählt werden, 
dass die durchgeführten Maßnahmen (SDV, Feedback) Wirkung entfalten kön- 
nen und von den Zentren genug neue Daten für eine SDV erfasst werden kön- 
nen. Zu berücksichtigen sind speziell die Laufzeit des gesamten Vorhabens, 
die Frequenz des Follow-ups, die Rekrutierungsrate an neuen Patienten/Per- 
sonen pro Zentrum und das erwartete Volumen neuer Daten, die von den Zen- 
tren eingebracht werden. 
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Ill Ergebnisse 


Das adaptive Monitoring verfolgt aufgrund der Stichproben-basierten SDV 
nicht das Ziel, eine vollstandige Ubereinstimmung der erhobenen Daten mit 
der Primärdokumentation sicherzustellen, wie dies beim herkömmlichen Mo- 
nitoring klinischer Studien der Fall ist. Vielmehr wird im Sinne einer Quali- 
tätslenkung die Beeinflussung der meldenden Einrichtungen angestrebt, um 
eine primär hohe Datenqualität zu erreichen und zu halten bzw. eine am An- 
fang des Vorhabens mäßige oder schlechte Datenqualität nachhaltig positiv 
zu beeinflussen. Die für ein Register oder eine Kohortenstudie verfügbaren 
Ressourcen werden in den Bereichen konzentriert eingesetzt, wo sie am effek- 
tivsten wirken können. Hierzu werden dem Verantwortlichen für das Daten- 
management folgende Ergebnisse zur Verfügung gestellt: 


Für jedes Zentrum die Mindestzahl an Beobachtungseinheiten, für die eine 
SDV durchzuführen ist (Umfang der SDV). 


= Fürjedes Zentrum die Mindestzahl an Merkmalen, die für jede Beobach- 
tungseinheit bei der SDV zu bearbeiten ist (Tiefe der SDV). 

= Für jedes Zentrum die Anzahl an Besuchen für die SDV im Zyklus, ent- 
sprechend der angegebenen Kapazität (Frequenz der SDV). 

= Für jedes Zentrum die Raten der einzelnen (maximal 24) Qualitätsindi- 
katoren mit Bewertung in auffällig/unauffällig im Vergleich zum 
Schwellenwert. 

= Fürjedes Zentrum der Qualitätsscore. 
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IV Wissenschaftliche Belege 


Die Ergebnisse der Literatursichtung sind detailliert in den Anhangen 2 und 
3 dargestellt. Hier sollen nur einige wichtige Ergebnisse vorgestellt werden. 
Grundsatzlich hat sich gezeigt, dass eine empirische Absicherung fiir Strate- 
gien zum Datenmanagement und Monitoring im Bereich von Kohortenstudien 
und Registern bislang weitgehend fehlt. Ahnliches scheint fiir klinische Stu- 
dien zu gelten. Die in der Industrie zum Qualitatsmanagement angewandten 
Modelle (z.B. Total Quality Management) erscheinen für das gegebene Problem 
zu komplex. 


Die für ein Register oder eine Kohortenstudie notwendige und erreichbare 
Datenqualität hängt vor allem von der jeweiligen Fragestellung bzw. der ge- 
planten Nutzung der Daten ab sowie von den Prozessen, die die Daten erzeu- 
gen. Die Motivation der Beteiligten hat Einfluss auf die Datenqualität und 
steigt, wenn den Datenlieferanten selbst Vorteile aus guter bzw. verbesserter 
Datenqualität entstehen. Das Monitoring ist hilfreich bei der Weckung und 
Schärfung des Qualitätsbewusstseins. Allerdings sind nur wenige quantitati- 
ve Daten zum Monitoring klinischer Studien in der Literatur verfügbar. Die 
Source Data Verification (SDV) wird oft zur Untersuchung von Vollständigkeit 
und/oder Genauigkeit bei klinischen Studien, Registern und Elektronischen 
Patientenakten eingesetzt. Es finden sich einzelne Empfehlungen (z.B. zu Fre- 
quenz, Anzahl Variablen, Interpretation der Nicht-Übereinstimmungen), die 
allerdings nicht durch empirische Untersuchungen mit Vergleich unterschied- 
licher Ansätze begründet sind. Eine Untersuchung der Datenqualität in Regis- 
tern geschieht meist durch Vergleich mit anderen Datenquellen. Der Goldstan- 
dard für den Vergleich ist unklar, die Patientenakte ist dafür nur bedingt ge- 
eignet. Eine Reihe von Indikatoren für Datenqualität werden in der Literatur 
beschrieben. Manche werden mehrfach von unterschiedlichen Autoren ge- 
nannt. Eine zeitnahe Rückmeldung der erreichten Datenqualität an die Daten- 
lieferanten macht Defizite sichtbar und gibt Impulse zur Qualitätsverbesse- 
rung. Ein (anonymisiertes) Benchmarking kann diesen Effekt verstärken. 
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V Nutzen 


Bei Anwendung der Leitlinie entsteht ein Nutzen in zweifacher Hinsicht. Zum 
einen bietet die Leitlinie ein Konzept zur kontinuierlichen Verbesserung von 
Datenqualität. Hierdurch kann die Aussagefähigkeit und Nutzbarkeit der 
Daten von Kohortenstudien und Registern wesentlich gestärkt werden. Zum 
anderen wird ein Originaldatenabgleich (Source Data Verification, SDV) im 
Rahmen von Stichproben empfohlen, wodurch eine deutliche Reduktion von 
Aufwand beim Monitoring im Vergleich zur vollständigen SDV erreicht wird. 
Es entsteht also Zusatznutzen bei gleichzeitiger Aufwandsreduktion. 


Die Anwendung der Leitlinie erfordert eine konsequente und systematische 
Auseinandersetzung mit der Qualität der Daten im zentralen Datenbestand 
des jeweiligen Vorhabens. Im Ausnahmefall, der Nutzung aller Qualitätsin- 
dikatoren, sind 102 Parameter (d.h. Zähler und Nenner der Qualitätsindika- 
toren), zu deren Berechnung wiederum zum Teil eine gesonderte Analyse der 
Daten erforderlich ist, zur Berechnung von 51 Qualitätsindikatoren zu erhe- 
ben. Die folgenden Verfahrensschritte - im Wesentlichen zur Planung der 
SDV - sind dann mit wenig Aufwand durchzuführen. Die Leitlinie räumt aber 
auch Spielraum in diesem Verfahrensschritt ein, indem mit einem vorhabens- 
spezifischen Teilbestand an Qualitätsindikatoren gearbeitet werden kann. 
Qualitätsindikatoren, deren Ermittlung im einzelnen Fall einen unverhältnis- 
mäßig hohen Aufwand bedeuten würde, können weggelassen werden. Die 
Verantwortung hierfür liegt allerdings beim Vorhaben selbst. 


Durch die Anpassung der Maßnahmen an die Datenqualität wird der verblei- 
bende Aufwand, im Wesentlichen für die SDV, dort konzentriert, wo es be- 
sonders nötig ist. Bei erfolgreicher Anwendung über mehrere Zyklen ist auto- 
matisch mit einer weiteren Aufwandsreduktion im Monitoring bei sich ver- 
bessernder Datenqualität zu rechnen. 


Für Vorhaben, die bislang weder eine Analyse der Datenqualität noch eine SDV 
oder ein Berichtswesen durchgeführt haben, kann dennoch in der Summe ein 
nicht unbeträchtlicher Aufwand entstehen. Ein Verzicht auf alle genannten 
Maßnahmen führt allerdings aus heutiger Sicht zu einem nicht verwertbaren 
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V Nutzen 


Datenbestand, so dass diese Situation für einen Vergleich des Aufwandes ir- 
relevant ist. 


Zusammenfassend lässt sich der Nutzen wie folgt charakterisieren: 


= Die Datenqualität der Erhebungszentren und des zentralen Datenbestan- 
des wird bestimmbar. 
Eine vollstandige und sehr aufwendige SDV wird vermieden. 
Die Ressourcen werden dort konzentriert, wo sie auf Grund schlechte- 
rer Datenqualität besonders nötig sind. 

= Es entsteht ein Prozess der kontinuierlichen Verbesserung von Daten- 
qualität. 
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VI Empfehlungen 


VI.1 Allgemeine Empfehlungen 


Eine hohe Datenqualität ist für die Aussagekraft und Nutzbarkeit von Kohor- 
tenstudien und Registern von entscheidender Bedeutung. Die Leitlinie emp- 
fiehlt hierzu die Durchführung eines Originaldatenabgleiches (Source Data 
Verification, SDV) einerseits und die Implementierung eines Berichtswesens 
zur Datenqualität (Feedback) andererseits. Die Leitlinie sollte regelmäßig an- 
gewendet werden. Als Abstand zwischen zwei Zyklen werden sechs Monate 
empfohlen. 


Mit dem Ziel der kontinuierlichen Verbesserung der Datenqualität wird eine 
SDV in Stichproben von Beobachtungseinheiten als ausreichend angesehen. 
Hierdurch können relevante Ressourcen im Monitoring eingespart werden. 
Umfang (Anzahl der Beobachtungseinheiten, für die eine SDV durchgeführt 
wird), Tiefe (Anzahl der Merkmale, die je Beobachtungseinheit abgeglichen 
werden) und Frequenz (Häufigkeit von Besuchen vor Ort) sind für jedes Zent- 
rum an die Datenqualität anzupassen. Zur Bestimmung der Datenqualität 
definiert diese Leitlinie 51 Indikatoren und führt diese zu einem Score mit fünf 
Kategorien (sehr gut - gut - moderat - schlecht - sehr schlecht) zusammen. 
Über den Score sowie die Vorergebnisse bei der SDV werden Umfang und Tiefe 
der SDV für jedes Zentrum an die Datenqualität angepasst. Gemäß den Emp- 
fehlungen ist dann eine SDV durchzuführen, die einerseits qualitätslenkend 
auf die lokalen Erhebungszentren einwirkt und andererseits dem Aufdecken 
von Schwachstellen bei der Datenerfassung und -weitergabe aber auch im 
Studiendesign dient. Eine Korrektur von Daten, die bei der SDV als fehlerhaft 
erkannt wurden, ist nicht Ziel der Leitlinie. Diese wird nur dann empfohlen, 
wenn hierzu der gesamte Datenbestand - ggf. über die Verwendung zusätz- 
licher, für das gegebene Problem definierter Plausibilitätsprüfungen - heran- 
gezogen wird. 


Das Berichtswesen dient ebenfalls der kontinuierlichen Verbesserung der 
Datenqualität, in dem es motivierend auf lokale Erhebungszentren einwirkt, 
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VI Empfehlungen 


die im Vergleich mit anderen eine schwächere Datenqualität aufweisen. Glei- 
chermaßen wie die SDV sind die erreichten Raten der Qualitätsindikatoren 
und der Qualitätsscore für jedes Zentrum, aber auch für ein Gesamtvorhaben, 
Grundlage einer Schwachstellenanalyse. Ein Berichtswesen sollte daher eben- 
falls systematisch und regelmäßig durchgeführt werden. 


VI.2 Anwendungsempfehlungen für Register 


Ulrike Bauer 


VI.2.1 Einleitung 


Der Begriff des Registers wird im Forschungsbereich auf vielfältige Weise ver- 
wendet. Je nach verfolgtem Ziel gibt es unterschiedliche Arten von Registern: 


= bevölkerungsbezogene, epidemiologische 
= und klinische, krankheitsbezogene Register. 


Insgesamt lassen sich Register beschreiben als eine „möglichst aktive, stan- 
dardisierte Dokumentation von Beobachtungseinheiten zu vorab festgelegten, 
aber im Zeitverlauf erweiterbaren Fragestellungen, für die ein präziser Bezug 
zur Zielpopulation transparent darstellbar ist“ (Müller et al. 2010: S. 825). Be- 
züglich der Planung, Implementierung und Datenqualität liefern die „Leitli- 
nien und Empfehlungen zur Sicherung von Guter Epidemiologischer Praxis“ 
der Deutschen Arbeitsgemeinschaft für Epidemiologie allgemein gehaltene 
Hinweise. Diese können als wertvoller Orientierungsrahmen genutzt werden. 
Die detaillierte Ausgestaltung von Maßnahmen zur Qualitätssicherung hängt 
sodann vom jeweiligen Register ab. 


Bei der Planung eines Registers ist eszunächst unabdingbar, zu identifizieren, 
um welche Art von Register es sich handeln soll (s.o.). 


Es soll beispielhaft am Nationalen Register für angeborene Herzfehler ein flä- 
chendeckendes, offenes klinisches Patientenregister dargestellt werden; dabei 
soll gezeigt werden, welche Maßnahmen zur optimalen Gestaltung der Daten- 
qualität hierbei eingesetzt werden. 


Im Nationalen Register für angeborene Herzfehler werden personenbezogen 
Patienten aller Altersgruppen mit jeglicher Art einer angeborenen Herzerkran- 
kung ohne vorgegebene Endpunkte erfasst. Diese Fehlbildungen sind die häu- 
figste angeborene Erkrankung beim Menschen. Es handelt sich um eine Viel- 
zahl an klinischen Erscheinungsformen mit unterschiedlichsten Ausprägun- 
gen, die 70 ICD-10-Codes umfasst, welche pathomorphologisch mit 206 IPC- 
Codes abgebildet werden. Einzelne Entitäten treten deshalb zum Teil nur 
selten auf, sodass sich ausreichende Fallzahlen für aussagekräftige Studien 
oft nur schwer erreichen lassen. 
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VI.2 Anwendungsempfehlungen für Register 


Das seit 2000 bestehende und vom Bundesministerium für Bildung und For- 
schung (BMBF) im Rahmen des Kompetenznetzes Angeborene Herzfehler seit 
2003 geförderte Nationale Register für angeborene Herzfehler e.V. erfasst 
deutschlandweit Daten und Biomaterial zu Personen mit angeborenen Herz- 
fehlern. Bis 2013 wurden rund 50.000 Patienten erfasst. 


Durch die zentrale Sammlung und Bündelung von Daten möchte das Natio- 
nale Register der Problematik zu geringer Fallzahlen in einzelnen Kliniken 
begegnen und so eine Grundlage für effiziente Forschung in verschiedenen 
Bereichen der klinischen, epidemiologischen und genetischen Forschung der 
angeborenen Herzfehler bereit stellen. Drauf aufbauend können auch spezi- 
fische Kohorten für einzelne Studienvorhaben gebildet werden. 


VI.2.2 Schwerpunkte der Qualitätssicherung in Registern 


Damit sie als Grundlage für verschiedene Studien mit validen Ergebnissen 
herangezogen werden können, ist die Qualität der erfassten Daten in Regis- 
tern von zentraler Bedeutung. Im Gegensatz zu Kohortenstudien werden in 
Registern keine Daten generiert, sondern vorhandene Daten erfasst. Wich- 
tig ist deshalb in diesem Kontext, dass insbesondere geeignete Prozeduren 
der Erfassung und Codierung sowie der Verarbeitung der Daten Anwendung 
finden. 


Nicht zu vernachlässigen sind als wesentliche Voraussetzungen für eine hohe 
Datenqualität ausreichendes und qualifiziertes Personal sowie geeignete 
räumliche und technische Ausstattung. 


VI.2.3 Beschreibung ausgewählter Indikatoren der Leitlinie in Registern 


Die TMF-Indikatoren wurden gezielt auf das klinische Register zu den ange- 
borenen Herzfehlern angewandt. Im Folgenden wird beispielhaft dargestellt, 
wie die Qualitätsindikatoren zum Einsatz kommen (s. Tab. 8). 


Tab.8 Liste von Qualitätsindikatoren mit besonderer Relevanz für Register 


TMF-ID Qualitätsindikator Anwendungsbezogener Kommentar 


Ebene Integrität 


Neben unveränderlichen Werten wie Geburtsdatum sind 
über die Zeit Veränderungen von Werten möglich und damit 
plausibel (z.B. Veränderung der Körpergröße - Wachstum 
eines Kindes). Deshalb Bildung von Grenzwerten, die sich als 
nicht plausibel erweisen (Abnahme der Größe mit der Zeit) 


Übereinstimmung mit 


TMF-1001 Vorwert 
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TMF-ID Qualitätsindikator 
TMF-1002 Konkordanz 
TMF-1003 
TMF-1035 . FOR 
Widerspruchsfreiheit 
TMF-1004 
TMF-1005 
Fehlende Einträge/ 
TMF-1013 fehlende Werte 
bei Datenelementen 
Fehlende Einträge/ 
TMF-1016 Datenelemente 
mit Wert unbekannt 
Ebene Organisation 
Aktualität der gespei- 
TOE cherten Daten 
TMF-1029 Dubletten 
TMF-1030 Rekrutierungsrate 
Vorzeitig aus dem 
TMF-1034 Register ausscheiden- 
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de Personen 


Anwendungsbezogener Kommentar 


Übereinstimmung der in der Datenbank erfassten Daten mit 
der Quelle; wichtig hierbei ist die Wahl der geeigneten Quel- 
le, da diese als korrekt („wahr“) vorausgesetzt wird. (z.B. 
Angabe der durchgeführten Operation aus dem Operations- 
bericht und nicht aus dem Arztbrief). 


Ebenso Vollständigkeit der Datenerfassung (z.B. alle angebo- 
renen Diagnosen erfasst und auch Ausschlussdiagnostik 
bestimmter sonst auftretender häufiger Begleitdiagnosen). 


Festlegungen von Plausibilitäten für sichere Widersprüche 
(z.B. geschlechtsspezifische genetische Syndrome). 


Warnung bei möglichen Widersprüchen (z.B. von Art des Herz- 
fehlers abweichende Operationsmethode). 


Endlosüberlebender (schwierig bei sehr jungen und schwer 
kranken Patienten) - für sehr gute Datenqualität aufwendige 
Recherchen über regelmäßige Kontakte und evtl. Einwohner- 
meldeämter erforderlich. 


Unterscheidung zwischen fehlenden Werten (unvollständige 
Erfassung von Diagnosen und Behandlungen) und tatsächlich 
nicht vorhandenen Werten. (Ist in Bezug auf den jeweiligen 
Patienten zu werten: z.B. pränatale Diagnostik - Eintrag erst 
ab bestimmten Geburtsjahr relevant, da moderne Diagnostik- 
form, bei Erwachsenen mit AHF irrelevant.) 


Entscheidung je nach Wert, ob unbekannt akzeptabel oder 
nicht; z.B. unbekannt akzeptabel bei Angabe zur eigenen 
Geburt und Schwangerschaft bei erwachsenen Patienten; 
Jedoch unbekannt möglichst vermeidbar bei Säuglingen. 


Unterscheidung in unveränderliche (angeborene Erkrankung) 
und veränderliche Daten (erworbene Erkrankungen, stattge- 
habte Operationen usw.). Bei veränderlichen Daten gleichzei- 
tige Erfassung des Datums der Datenaktualisierung (Arzt- 
briefdatum, Befunddatum usw.). 


Patientenbezogene Erfassung, keine fallbezogene Erfassung; 
Dubletten zu vernachlässigen. 


Nur sinnvoll für bestimmte Fragestellungen (z.B. Quer- 
schnittsuntersuchung wie Erfassung aller Neugeborenen 
eines Jahrganges oder einer bestimmten Untergruppe mit 
speziellen Einschluss- und Ausschlusskriterien) - Abgleich mit 
Geburtenzahlen und Versorgungsdaten 


Bezug auf Einrichtungen/Zentren - Beachtung des Zuwei- 
sungsradius (Einbeziehung des Wohnortes zum Abgleich). 
Rücknahme der Einverständniserklärung (sehr selten im Natio- 


nalen Register für angeborene Herzfehler, meistens nur bei sehr 
leichten Herzfehlern), Erfragen der Gründe des Ausscheidens. 


VI.2 Anwendungsempfehlungen für Register VI 


TMF-ID Qualitätsindikator Anwendungsbezogener Kommentar 

TMF-1036 Synonyme Durch Verwendung des PID-Generators Wahrscheinlichkeit 
TMF-1037 Homonyme gering, Überprüfung durch Abgleich mit Diagnosen. 
Ebene Richtigkeit 


Unterschiedliche Verwendung der Nomenklatur für die Diag- 
nose des Herzfehlers/Erkrankung von verschiedenen Ärzten/ 
Kliniken. Vereinheitlichung der Nomenklatur durch Verwen- 
dung des IPC-Codes nach Wertung aller Angaben im Arztbrief 
und Befunden durch besonders geschultes fachspezifisches 
Personal (Vorteil: hohe Datenqualität bei Phänotypisierung 
für begleitende Biomaterialbank; Nachteil: sehr personal- 
und zeitaufwendig). Deshalb Einführung verschiedener Quali- 
tätsstufen für die erforderliche Genauigkeit der Register- 
daten. 


TMF-1043 Genauigkeit 


Übereinstimmung Hoher Anspruch an die Übereinstimmung bei Angaben der 
mit den Originaldaten Diagnosen von Patienten mit vorhandenem Biomaterial. 
bezogen auf die 4-Augenprinzip, um Qualität zu optimieren. Nachteil: sehr 
Datenelemente personal- und zeitintensiv. 


TMF-1044 


Übereinstimmung Beobachtungseinheit ist ein Patient - Genauigkeit der Über- 
mit den Originaldaten tragung aller Angaben aus Arztbriefen. 

bezogen auf die Beob- Hohe Anforderung bei Patienten mit komplizierten Krank- 
achtungseinheiten heitsverläufen (vielen Interventionen, Komplikationen) 


TMF-1045 


Bei einem breiten Register mit verschiedenen, teilweise sehr 
seltenen angeborenen Herzerkrankungen müssen verschie- 
dene Subgruppen unterschiedlich in ihrer Vollständigkeit 
betrachtet werden, um den Dokumentationsaufwand mach- 
bar und bezahlbar zu halten: 


1. maximale Vollständigkeit der Daten - Patienten mit Bio- 
material 


TMF-1046 Vollständigkeit 2. mittlere Vollständigkeit - komplexe, wissenschaftlich sehr 
interessante Fälle 


3. variable Vollständigkeit - Patienten mit häufigen und 
wissenschaftlich weniger interessanten Herzfehlern - Vervoll- 
ständigung nur nach Vorliegen bestimmter Forschungsfragen 


Bei epidemiologischem Ansatz: Bezug der Vollständigkeit auf 
Geburtenraten, Operationszahlen u.a. Angaben aus Erfas- 
sungsstatistiken. 


Übereinstimmung mit Regelmäßige Aktualisierung der Registerdaten. Klare Verfah- 


En? den Verfahrensregeln rensregeln für verschiedene Untergruppen im Register. 


Erfasste Population entspricht Stichprobe: Prozentuale Ver- 
teilung der Häufigkeiten der Herzfehler (seltene Fehler - sel- 

TMF-1048  Repräsentativität ten im Register; häufige Fehler - häufig im Register). Ebenso 
Altersverteilung und Geschlechterverteilung - bestimmte 
Herzfehler haben eine Geschlechterwendigkeit. 
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VI.2.4 Beispielhafte Implementierung von Qualitätsindikatoren 
im Nationalen Register für angeborene Herzfehler e.V. 


Alle Daten werden personenbezogen erhoben, um verschiedene Datensätze 
eindeutig zuordnen und Einträge zu einzelnen Teilnehmern fortschreiben zu 
können. Aus datenschutzrechtlichen Gründen arbeitet das Nationale Register 
für angeborene Herzfehler deshalb mit zwei voneinander getrennten Daten- 
banken - derjenigen zur Speicherung der personenidentifizierenden Daten 
(IDAT-DB) und einer weiteren zur Speicherung und Verarbeitung der medizi- 
nischen Daten (MDAT-DB). 


VI.2.4.1 Personenidentifizierende Daten (IDAT) 


Bei der Eingabe der persönlichen Daten eines Teilnehmers in die IDAT-DB wird 
anhand der IDAT ein Pseudonym (Patientenidentifikator: PID) erzeugt, das für 
jede Person eindeutig ist und in allen Datenbanken als Zuordnungskriterium 
genutzt wird. Phonetische Algorithmen beachten die unterschiedlichen 
Schreibweisen wie z.B. „Müller“ und „Mueller“, Der PID bleibt ebenfalls für 
einen Patienten identisch, wenn er heiratet oder umzieht. So werden einer- 
seits Dubletten vermieden; andererseits ermöglicht diese Art der Pseudony- 
misierung das kontinuierliche Fortschreiben einzelner Datensätze. Der PID 
selbst als alphanumerischer Code steht nicht in direktem Zusammenhang mit 
den zugehörigen IDAT, sodass ein „Rückrechnen“ zu den identifizierenden 
Daten nicht möglich ist. Für die Erzeugung des PID wird ein so genannter ex- 
terner PID-Generator eingesetzt, auf den die Register-Software verschlüsselt 
über eine geschützte Verbindung zugreift. Durch die Sensibilität der personen- 
identifizierenden Daten, die sich in der Patientenliste des PID-Generators be- 
finden, ist dieser Bereich stark geschützt und erlaubt nur einen sehr restrik- 
tiven Zugriff. 


Der PID-Generator wurde im Kompetenznetz für Pädiatrische Onkologie und 
Hämatologie (Klaus Pommerening/Universität Mainz) als Werkzeug für die 
Erzeugung von pseudonymen Patientenidentifikatoren entwickelt (Rengetal. 
2006). Er wird in vielen medizinischen Forschungsnetzen eingesetzt und hat 
sich durch seine hohe Sicherheit und das fehlertolerante Matchingverfahren 
als Kernmodul für das Identitätsmanagement etabliert. Durch die Eindeutig- 
keit der PID als Ordnungskriterium in allen Datenbanken des Netzes ist eine 
sichere und zuverlässige Arbeitsweise mit Sicherstellung des Datenschutzes 
gewährleistet. 


Durch regelmäßiges Kontaktieren der Registerteilnehmer werden die Adres- 
sen gepflegt und bei Bedarf über das Einwohnermeldeamt aktualisiert. Da- 
durch wird auch bekannt, wenn Patienten versterben. 


Als sehr effektiv hat sich bei der Datenpflege und Erreichung einer hohen 
Datenqualität erwiesen, dass die Erzeugung des PIDs anhand der Papiermel- 
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dung zentral erfolgt und die Patienten immer wieder kontaktiert bzw. auch 
über einen eigene Webseite informiert werden. So entsteht eine besondere 
„Kundenbindung“ und die Drop-outs sind sehr gering. 


V1.2.4.2 Medizinische Daten (MDAT) 


Bei Eintrittin das Register wird die Krankengeschichte zunächst retrospektiv 
verfolgt, indem alle angeborenen Erkrankungen und deren Verlauf bis zum 
Zeitpunkt der Anmeldung dokumentiert werden. Von diesem Zeitpunkt an wird 
die weitere Krankengeschichte mit eventuell auftretenden erworbenen Erkran- 
kungen, medizinischen Maßnahmen und Eingriffen etc. sodann prospektiv 
erfasst. Als Datenquelle dienen dabei zum einen subjektive anamnestische An- 
gaben, also Selbstangaben der Teilnehmer; zum anderen werden ärztliche Do- 
kumente wie Arztbriefe, Katheterprotokolle, Operationsberichte oder Autopsie- 
befunde als Quelle genutzt. Für größtmögliche Genauigkeit und Transparenz 
wird die Datenquelle (Herkunft, Datum) dabei stets genau dokumentiert. 


Die Daten werden ausschließlich zentral durch geschultes Personal in die 
Datenbank eingegeben. Alle genannten medizinischen Dokumente liegen dem 
Register-Personal in Papierform vor. Sind die verfügbaren Angaben nicht aus- 
reichend, behält sich das Register die Möglichkeit vor, weitere Dokumente 
vom betreuenden Arzt/Zentrum anzufordern. Die Genehmigung hierfür wird 
bereits bei der Anmeldung neuer Teilnehmer mittels Informed Consent eingeholt. 


Bei der Fülle der gesammelten Daten ist ein etabliertes Ordnungssystem von 
besonderer Bedeutung, um die Nutzbarkeit der Daten zu gewährleisten. Die 
Dokumentation der Diagnosen in der Datenbank folgt deshalb einer festge- 
legten Hierarchie. Dabei wird hinsichtlich der angeborenen Erkrankungen 
eine Einteilung unter anderem in führende Hauptdiagnosen und Nebendiag- 
nosen vorgenommen. Zudem werden Prozeduren mit Angaben zu Zeit und Ort 
in chronologischer Reihenfolge erfasst. 


Ebenso unabdingbar ist eine einheitliche Codierung der erfassten Daten. Als 
Nomenklatur nutzt das Nationale Register für alle Diagnosen und Prozeduren 
den IPC-Code; für erworbene Erkrankungen wird zusätzlich auf den ICD-10- 
Code zurückgegriffen. Auf Freitext wird weitestgehend verzichtet. Dadurch 
wird eine standardisierte Klassifizierung der erfassten Diagnosen und Proze- 
duren gewährleistet, wodurch Homonyme vermieden und Daten schnell und 
unproblematisch abgefragt bzw. genutzt werden können. 


Die Eingabe sämtlicher medizinischer Daten in die Datenbank erfolgt durch 
geschulte Medizin-Studenten und wird durch einen verantwortlichen Arzt 
ständig kontrolliert. Liegt zu einem Teilnehmer neben den medizinischen An- 
gaben eine Biomaterial-Probe vor, erfolgt zusätzlich eine zweite Stufe der Qua- 
litätssicherung mittels Supervision. Der jeweilige Qualitätsgrad der Daten 
wird in der Datenbank vermerkt. 
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Für alle Arbeitsabläufe innerhalb des Nationalen Registers wurden spezifische 
Standard Operating Procedures (SOPs) entwickelt, welche kontinuierlich an recht- 
liche, technologische oder infrastrukturelle Änderungen angepasst werden. 
So sind die folgenden Vorgänge durch SOPs geregelt: 


= Nutzung der IT-Plattform 

= Organisatorische Fragen wie Zugangsrechte, regelmäßige Anleitung der 
Mitarbeiter, räumliche und organisatorische Trennung der Datenban- 
ken (IDAT-DB, MDAT-DB) 

= Registrierungsprozedur, Eingabe der IDAT, PID-Generierung, Teilneh- 

mer-Feedback 

Beschriftungs- und Ablagesystem von Originaldokumenten 

Handling von originalen Arztbriefen und Eingabe der MDAT 

Qualitätskontrolle der MDAT-Eingabe 

Kontaktaufnahme mit Register-Teilnehmern (leitlinienbasierte Telefon- 

interviews) 

= Abfragen in der MDAT-DB, Zusammenstellen von Daten für geplante 
Forschungsprojekte 

= Herausgabe von Daten für Forschungsprojekte, Generieren einer doppel- 
ten Pseudonymisierung 


Wie sich zeigt, besteht die besondere Herausforderung in einem Register wie 
dem Nationalen Register für angeborene Herzfehler in der Phänotypisierung, 
d.h. der genauen Beschreibung von Diagnosen und Prozeduren. Diese ist die 
Voraussetzung für die Bildung sinnvoller Kohorten z.B. mit Blick auf angebo- 
rene Herzfehler mit gemeinsamer Pathomorphologie, nach Schweregrad (bzw. 
derzeitigem Leistungszustand) oder, für genetische Untersuchungen, mit 
Blick auf angeborene Herzfehler mit bestimmten angeborenen Nebenerkran- 
kungen, Syndromen o.ä. Je nach Studienvorhaben können dann für diese Ko- 
horten spezielle Untersuchungsparameter gemäß den Qualitätskriterien für 
Kohorten erfasst werden. 


V1.2.5 Zusammenfassung und Ausblick 


Das Management der Datenqualität in Registern verfolgt zwei wesentliche 
Ziele: 


Zum einen hängen die Möglichkeiten der wissenschaftlichen Nutzung von 
Daten aus krankheitsbezogenen Registern vor allem von der Qualität der dort 
erfassten und gespeicherten Daten ab. Je nach Fragestellung der Nutzer kön- 
nen die Anforderungen an die Qualität der Daten sehr unterschiedlich sein. 
Die Entscheidung über die Verwendbarkeit der Daten kann nur der Nutzer 
treffen. 


Zum anderen lassen sich bei der Betrachtung der Datenqualität wichtige Rück- 
schlüsse auf die etablierten Prozesse der Datenerfassung und Datenspeiche- 
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rung ziehen. Darauf aufbauend lassen sich geeignete Maßnahmen treffen, 
um identifizierte Defizitbereiche zu beseitigen und effektiv die Datenqualität 
positiv zu beeinflussen. 


Das Ziel der Sicherstellung einer hohen Datenqualität sollte immer im Zusam- 
menhang mit der Machbarkeit und Finanzierbarkeit betrachtet werden. Die 
Leitlinien sind ein wichtiger Bezugspunkt, um bereits bei der Planung von 
Registern sinnvolle Entscheidungen hinsichtlich Datenqualität und -manage- 
ment zu treffen. 


VI.3 Anwendungsempfehlungen für Kohorten 


Carsten Oliver Schmidt 


V1.3.1 Einleitung 


Kohortenstudien sind in den Lebenswissenschaften ein unverzichtbares Stu- 
diendesign zur Beantwortung von Fragestellungen hinsichtlich der Verbrei- 
tung, des Verlaufes und Zusammenhangs von Erkrankungen, subklinischen 
Endpunkten und Risikofaktoren. Eine hohe Datenqualität ist eine notwendi- 
ge Voraussetzung, um eine hohe Aussagekraft der Studien zu gewährleisten. 
Einen Orientierungsrahmen bieten die „Leitlinien und Empfehlungen zur 
Sicherung von Guter Epidemiologischer Praxis“, kurz GEP [DAE 2004]. Emp- 
fehlungen umfassen u.a. eine begleitende Qualitätssicherung aller relevanten 
Instrumente und Verfahren, eine Dokumentation für Verfahrensänderungen, 
eine Zweit- und Prüfeingabe für numerische Variablen sowie Plausibilitäts- 
kontrollen in einem geeigneten infrastrukturellen Rahmen zur Datenhal- 
tung. In Hinblick auf konkrete Indikatoren zur Datenqualität und deren Ope- 
rationalisierung bleibt die GEP jedoch unspezifisch. Solche praktisch anwend- 
baren Indikatoren bietet die vorliegende Fassung der TMF-Leitlinie Datenqua- 
lität. Sie wurde gegenüber der letzten Fassung um mehrere Indikatoren 
erweitert, die im Rahmen der Qualitätssicherung von Beobachtungsstudien 
relevant sind. 


Der folgende Überblick erläutert spezifische Aspekte der Sicherung von Daten- 
qualität in Kohortenstudien, führt ausgewählte Indikatoren derTMF-Leitlinie 
Datenqualität ein und beschreibt am Beispiel der Study of Health in Pomera- 
nia, SHIP [Völzke et al. 2011], eine exemplarische Umsetzung im Rahmen eines 
kontinuierlichen Datenmonitorings. Die SHIP-Studie ist eine bevölkerungs- 
bezogene Gesundheitsstudie, bestehend aus zwei Kohorten mit insgesamt 
über 8800 Teilnehmern, die im Rahmen des Forschungsverbundes „Commu- 
nity Medicine“ an der Universitätsmedizin Greifswald durchgeführt wird. Die 
Studie erfasst erstens die Prävalenz und Inzidenz von Erkrankungen, subkli- 
nischen Auffälligkeiten und Risikofaktoren. Zweitens wird der Zusammen- 
hang zwischen diesen im Quer- und Längsschnitt untersucht. 
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Insofern Kohortenstudien auch die Nutzung von sekundären Datenquellen 
vorsehen, etwa die Nutzung von Daten aus klinischen Tumorregistern, Kran- 
kenhäusern oder der kassenärztlichen Vereinigung, greifen primär Indikato- 
ren zur Qualitätskontrolle bei Registern (s. Kap. VI.2), auf die hier nicht ein- 
gegangen wird. Umgekehrt bieten sich wichtige Möglichkeiten zur Validie- 
rung von Sekundärdaten auf Basis von Primärdaten aus Kohortenstudien, was 
im Ausblick beschrieben wird. 


V1.3.2 Schwerpunkte der Qualitätssicherung in Kohortenstudien 


Im Gegensatz zu Registern und Datenrepositorien fokussiert die Qualitätssi- 
cherung in Kohortenstudien auf den Prozess der Datengenerierung. Daten 
sollen reliabel, valide und vollständig erhoben werden. Hierin besteht eine 
wesentliche Gemeinsamkeit mit klinischen Studien, wobei in Hinblick auf 
letztere ein wesentlich engerer, in Teilen gesetzlich geregelter Rahmen zur 
Qualitätssicherung besteht [Baigent et al. 2008, Eberhard/Herrlinger 2010, 
Macefield et al. 2013]. 


Primäre Ziele der Qualitatssicherung in Kohortenstudien sind die Minimie- 
rung von Messfehlern, die Gewährleistung einer hohen Generalisierbarkeit 
sowie der internen Vergleichbarkeit der Messungen innerhalb und zwischen 
den Erhebungswellen. Dazu sind zahlreiche Maßnahmen auf konzeptueller, 
struktureller und prozessualer Ebene notwendig |DAE 2004, Rajaraman/Samet 
2005, Whitney et al. 1998, Lüdemann et al. 2000]. 


Konzeptuell ist ein geeignetes Studienprotokoll grundlegend. Dieses definiert 
u.a. Fragestellungen und Hypothesen, regelt die Stichprobenauswahl, Rek- 
rutierungsmethoden, die Instrumentenauswahl und andere methodische Fra- 
gen. Viele der im Folgeabschnitt genannten Indikatoren liefern nur unter 
Verwendung standardisierter und vorab validierter Messverfahren sinnvolle 
Ergebnisse. 


Hinsichtlich der strukturellen Ebene sind wesentliche Voraussetzungen zur 
Gewährleistung einer hohen Datenqualität u.a. geeignete Räumlichkeiten, 
die Qualifikation des Personals, Organisationsstrukturen mit einer nach Mög- 
lichkeit personellen Trennung von Untersucher- und Qualitätssicherungs- 
funktionalitäten, die IT-Infrastruktur zur Dateneingabe, u.a. elektronische 
Datenerfassungssysteme (Electronic Data Capture, EDC), Datenspeicherung 
und Datenmanagement. 


Prozessual kann zwischen Maßnahmen unterschieden werden, die im Vorfeld 
der Datenerhebung stattfinden und solchen, die an den generierten Daten wäh- 
rend und nach der Dateneingabe ansetzen. Ersteres umfasst u.a. Maßnahmen 
zur Qualifizierung des Personals, die Sicherstellung einer geeigneten Geräte- 
funktionalität und letzteres Maßnahmen zur Eingabe und zum Monitoring der 
generierten Daten. Einen Überblick wichtiger Maßnahmen bietet Tabelle 9. 
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Tab.9  Prozessuale Elemente der Qualitätssicherung in Kohortenstudien 


Maßnahmen vor der Datenerhebung 


Studienhandbücher für Untersuchungen, Datenmanagement, Qualitätssicherung 
Checklisten zur Untersuchungsdurchführung 


Training/(Re-)Zertifizierung von Untersuchern, Befundern und ggfs. Trainern bei multizentrischen 
Projekten 


Gerätekalibrierung, Gerätevergleiche, Gerätewartung 
Phantommessungen bei bildgebenden Verfahren 
Gespräche/Qualitätszirkel zu qualitätsrelevanten Aspekten der Untersuchung 


Pilotierung der Studie/Prätest einzelner Untersuchungsmodule 


Maßnahmen während und nach der Datenerhebung 

Kontrolle der Teilnahmevoraussetzungen (Identität und Einverständnisse) 

Standardisierte Dateneingaben (z.B. webbasiert mit automatischer Plausibilitätskontrolle) 
Mehrfachbefundungen (u.a. bei bildgebenden Verfahren) 

Mehrfacheingaben (Standard bei Eingabe von Papiervorlagen, z.B. Fragebögen) 

On-Site Monitoring (Räumlichkeiten sowie Untersuchungsprozess) 

Standardisierte und zentralisierte Erfassung von Auffälligkeiten (z.B. datenbankbasiert) 
Qualitätsberichte 

Monitoring der laufenden Datenerhebung (Fokus auf Rohdaten) 

Datenmanagement, syntaxbasierte Datenbereinigungen 


Externes Monitoring (Advisory Board) 


Zur Kontrolle der laufenden Datenerhebungen ist ein zentrales Datenmonito- 
ring, wie es auch in die auch in randomisierten Studien empfohlen ist [Baigent 
etal. 2008, De 2011], wesentlich, um Datenauffälligkeiten effizient detektieren 
zu konnen. 


Die Implementation von Maßnahmen zur Qualitatssicherung und Qualitäts- 
kontrolle ist als Rückkopplungsschleife zu verstehen, bei der alle Maßnahmen 
während und nach der Datenerhebung alle Maßnahmen bedingen können, 
die vor der Datenerhebung genannt sind. Dies schließt auch Inhalte der kon- 
zeptuellen und strukturellen Ebene ein, die sowohl vor als auch während der 
Studie Gegenstand von Anpassungen sein können. Insgesamt entspricht dies 
dem in der Einleitung genannten Anspruch auf eine kontinuierliche Verbes- 
serung der Datenqualität (s. Abb. 1). 


Nach Abschluss der Datenerhebung folgt die finale Datenbereinigung, die 
vollständig skriptbasiert zu erfolgen hat, um alle Unterschiede zwischen Roh- 
und Auswertungsdaten nachvollziehen zu können. Anschließend greifen wei- 
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tere qualitätssichernde Prozesse zum geeigneten Umgang mit den bereinigten 
Ergebnisdaten. Beispiele sind ein standardisiertes, skriptbasiertes Datenüber- 
gabeprozedere oder ein Publikationskomitee. Durch einen Zugriff auf Aus- 
wertungssyntax und Manuskripte erhält Letzteres, wie z.B. in der SHIP-Stu- 
die, vor der Publikation die Möglichkeit, Autoren Hinweise zu geben. 


Eine besondere Herausforderung in komplexen Kohortenstudien wie SHIP, der 
Nationalen Kohorte [Wichmann et al. 2012] oder dem WHO-MONICA Projekt 
[Tolonen et al. 2006] besteht darin, die Vergleichbarkeit der Messwerte zwi- 
schen verschiedenen Untersuchern, Zentren, Labors, Geräten über einen lan- 
gen Zeitraum zu gewährleisten. Zentral ist also die interne Validität der Mess- 
ergebnisse innerhalb einer Studie. Daher ist es nicht das primäre Ziel, die 
neuesten Gerätegenerationen oder Softwareupdates umgehend zu implemen- 
tieren, sondern eine einmal gewählte Technologie so lange wie möglich bei- 
zubehalten und jeden Wechsel zwischen Technologien und Methoden durch 
Vergleichsuntersuchungen zu flankieren. Relativ kurze Lebenszyklen techni- 
scher Geräten erschweren dies, wenn alte Geräte nicht mehr zur Verfügung 
stehen. Durch eine erhöhte Sensitivität z.B. moderner bildgebender Techno- 
logien werden morphologisch ähnliche Endpunkte anders visualisiert, De- 
tektionsraten klinischer Endpunkte verändert und dadurch die Vergleichbar- 
keit zwischen den Erhebungswellen gesenkt. Ein weiteres Beispiel sind zwi- 
schen und innerhalb von Erhebungswellen auftretende Veränderungen der 
laboranalytischen Untersuchungsmethoden, was kritisch ist, da die Variabi- 
lität der Messwerte zwischen Assays erheblich sein kann [Lai et al. 2012]. 


Ein Datenaudit, bei dem ein externes Team die Forschungsdaten mit den Prüf- 
bögen vergleicht, spielt im Vergleich zu klinischen Studien aufgrund der an- 
deren rechtlichen und finanziellen Rahmenbedingungen eine untergeordne- 
te Rolle. Zudem wird durch ein solches Vorgehen nur ein Teil qualitätsrele- 
vanter Fehler detektiert [Nahm et al. 2008]. Nichtsdestotrotz ist eine Quell- 
datenverifizierung auch in Kohortenstudien in Bezug auf ausgewählte 
Untersuchungen Routine. Ein Beispiel ist der Abgleich von Papiervorlagen mit 
den elektronischen Daten, etwa bei Fragebögen, Einverständniserklärungen 
oder Geräten, die keine automatische Übertragung von Messwerten erlauben 
[Lüdemann et al. 2000]. 


V1.3.3 Beschreibung ausgewählter Indikatoren der Leitlinie in Kohortenstudien 


Die im Rahmen dieser TMF-Leitlinie beschriebenen Indikatoren der Daten- 
qualität fokussieren auf die Ergebnisqualität vorliegender Daten. Nicht im 
Fokus stehen also die beschriebenen konzeptuellen und strukturellen Rah- 
menbedingungen sowie qualitätssichernde Maßnahmen vor und während der 
Datenerhebung. Dies war mit der vorliegenden Version der Leitlinie auch nicht 
intendiert. Damit spielen dieTMF-Indikatoren vor allem im Datenmonitoring 
eine Rolle. 
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Methodisch lassen sich die drei Ebenen der TMF-Leitlinie vereinfacht wie folgt 
charakterisieren: Die Ebene Integritat fokussiert auf die Reliabilitat der Mess- 
werte und das Fehlen einzelner Datenelemente (Vollstandigkeit) sowie im 
geringeren Maße auf die interne Validität. Die Ebene Organisation fokussiert 
auf Indikatoren für das Fehlen kompletter Beobachtungseinheiten (Vollzäh- 
ligkeit), was für die Generalisierbarkeit wesentlich ist, und die Ebene Richtig- 
keit auf die externe Validität. Allerdings bestehen zwischen den Indikatoren 
der drei Ebenen der TMF-Leitlinie teils enge Bezüge, weshalb die eindeutige 
Zuordnung nur begrenzt möglich ist. 


Gegenüber der alten TMF-Leitlinie Datenqualität [Nonnemacher et al. 2007] 
bestehen Veränderungen mit Relevanz für Kohortenstudien vor allem in der 
Verfeinerung und Ergänzung von Indikatoren auf der Ebene Integrität [Staus- 
berg et al. 2012]. Ein Beispiel ist die Differenzierung verschiedener Ursachen 
von Messfehlern. Eine kommentierte Übersicht ausgewählter Indikatoren mit 
Relevanz für Kohortenstudien wird in Tabelle 10 gegeben. 


Vergleicht man die drei Ebenen der TMF-Qualitätsindikatoren zwischen Re- 
gistern und Kohortenstudien, zeigt sich deren unterschiedliche Gewichtung 
in der praktischen Anwendung. Diese ist in unterschiedlichen Vorgehenswei- 
senin beiden Anwendungsfeldern begründet, Qualitätsindikatoren zu bilden. 
Kohortenstudie bieten bessere Möglichkeiten, Indikatoren zur Reliabilitätund 
fehlenden Werten zu generieren als zurinternen oder externen Validität. Meis- 
tens fehlt eine externe Quelle, die zur Überprüfung der Validität der Daten 
dienen kann. Bei Registern besteht hingegen ein starker Fokus auf die Ebene 
Richtigkeit im Sinne einer Quelldatenverifizierung. Sofern dies in Kohorten- 
studien nicht möglich ist, stellt dies keine qualitative Überlegenheit der Re- 
gister dar. Im Gegenteil: Inwieweit die einem Register zu Grunde liegenden 
Quellen ihre Daten reliabel und valide erfassen, bleibt weitgehend offen, wäh- 
rend genau dies in Kohortenstudien zentraler Gegenstand der Qualitätskont- 
rolle ist und durch geeignete Qualitätssicherungsmaßnahmen gewährleistet 
werden kann. 


Bei der Anwendung von Schwellenwerten der Leitlinie sind im Rahmen der 
Kohortenstudie zwei Ebenen zu unterscheiden: Erstens Schwellen zur Ent- 
scheidung über Maßnahmen der Qualitätssicherung im Rahmen einer lau- 
fenden Datenerhebung. Diese fokussieren auf Rohdaten, eine Implementie- 
rung wird beispielhaft im folgenden Abschnitt beschrieben. Zweitens Schwel- 
len zur abschließenden Bewertung der erreichten Datenqualität auf der Ebene 
des Auswertungsdatensatzes. Letzteres kann für die Planung von Datenana- 
lysen genutzt werden, etwa durch Stratifizierung der Analysen über verschie- 
dene Qualitätsstufen bei multizentrischen Studien [Tolonen, et al. 2006]. Ein 
weiteres Anwendungsgebiet ist die Nutzung der Indikatoren zur retrospektiven 
Harmonisierung vorliegender Daten, um die Qualität von Analysen aus ge- 
poolten Studien zu verbessern [Fortier et al. 2011]. 
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Tab. 10 Liste von Qualitätsindikatoren mit besonderer Relevanz für Kohortenstudien 


Qualitätsindikator 


Übereinstimmung mit Vorwert 
(TMF-1001) 


Werteverteilung (TMF-1006) 


Bevorzugung bestimmter Endzif- 
fern (TMF-1007) 


Werteverteilung der durch Unter- 
sucher erfassten Parameter (TMF- 
1009) 


Werteverteilung der durch Geräte 
erfassten Parameter (TMF-1010) 


Werteverteilung von Befunden 
(TMF-1011) 


Werteverteilung von Parametern 
zwischen Zentren (TMF-1052) 


Fehlende Einträge 
Fehlende Module (TMF-1012) 


Fehlende Werte bei Datenelemen- 
ten (TMF-1013) 


Fehlende Werte bei mandatori- 
schen Datenelementen (TMF-1014) 
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Die Bildung von Grenzwerten für Werte, die sich unplausibel 
von ihren Vorwerten unterscheiden, ist zur Beurteilung der 
internen Validität wichtig. Da intraindividuell oft große Ver- 
änderungen über die Zeit plausibel sind, kommt Lagemaßen 
(z.B. Mittelwert) für ein Untersuchungskollektiv eine wichtige 
Rolle zu. 


Anfällig sind Messungen mit nicht-digitaler Anzeige, bei denen 
manuell gerundet werden muss. Entsprechend wird das Auf- 
treten durch geeignete Gerätewahl mit möglichst automati- 
scher Datenübertragung minimiert. 


Hauptursache für Messfehler in Kohorten, der Messfehler 
schwankt stark zwischen Untersuchungstypen. Eine randomi- 
sierte Zuweisung zwischen Untersuchern und Probanden ist 
wichtig, damit im Durchschnitt keine Messunterschiede zwi- 
schen Untersuchern auftreten. Darauf beruht die Bildung sta- 
tistischer Kennwerte. 


Wird in der Praxis auch bei geeichten Geräten regelmäßig beob- 
achtet und bedarf fortwährender Kontrolle. Eine randomisierte 
Zuweisung, sowohl gegenüber Probanden als auch Untersu- 
chern ist für die Bildung von statistischen Kennwerten wichtig. 


Quantitative Befundungen sind im Allgemeinen weniger anfal- 
lig für relevante systematische Fehler als qualitative. Insbeson- 
dere die qualitative Beurteilung bildgebender Ergebnisse er- 
weist sich in der praktischen Umsetzung als problematisch. 


Ist eine Variante der TMF-Indikatoren 1009 und 1010, bei der 
mittlere Unterschiede zwischen Untersuchungszentren fokus- 
siert werden. Die Interpretation ist dadurch erschwert, dass 
Populationsunterschiede mit Messfehlern konfundiert sind, 
dem nur in Teilen durch eine adjustierte Analyse begegnet 
werden kann. 


Bezeichnet die Nichtrealisierung von kompletten Untersu- 
chungsmodulen und kann sowohl designbedingt sein als auch 
durch Selbstselektion. In Hinblick auf letzteres siehe TMF-1032. 


Siehe 1014 


Fast alle Datenelemente in Kohortenstudien sind mandato- 
risch. Sofern geeignete Eingabekontrollen vorliegen, etwa 
durch EDC mit Plausibilitätskontrollen, sind fehlende Werte 
mit 0% Toleranzschwelle zu bearbeiten. Kritischer sind Frage- 
bögen, da Probanden bei bestimmten Fragen mit erhöhter 
Wahrscheinlichkeit keine Angaben machen. 


VI.3 Anwendungsempfehlungen für Kohorten VI 


Qualitätsindikator Anwendungsbezogener Kommentar 

Fehlende Werte bei optionalen Spielen in Kohortenstudien eine untergeordnete Rolle. Sind 
Datenelementen (TMF-1015) eher bei Nutzung von Daten aus der klinischen Routine relevant. 
Datenelemente mit Wert unbe- Sollten bei elektronischen Eingaben in geschlossenen Ergeb- 
kannt o.ä. (TMF-1016) nisformaten nicht aufgetreten, daher 0% Toleranz 

Ausreißer bei stetigen Datenele- Jeder Ausreißer bei vordefinierten Plausibilitätsgrenzen ist 
menten (TMF-1018) Gegenstand von Qualitätssicherungsmaßnahmen, 0% Toleranz. 
Werte, die die Messbarkeits- Im Kontext von Laboranalysen bei Bevölkerungskohorten rele- 
grenzen von Verfahren unter-oder vant, da durch den hohen Anteil gesunder Probanden Mess- 
überschreiten (TMF-1019) barkeitsgrenzen systematisch unterschritten sein können. 
Unerlaubte Werte 


Unerlaubte Werte bei qualitativen Sollten bei EDC in geschlossenen Ergebnisformaten nicht auf- 
Datenelementen (TMF-1021) treten, daher 0% Toleranz. Jeder Fall ist Gegenstand von Quali- 
tätssicherungsmaßnahmen. 


Unerlaubte Werte bei qualitativen Sollten bei EDC in geschlossenen Ergebnisformaten nicht auf- 


Datenelementen zur Kodierung treten, daher 0% Toleranz. Jeder Fall ist Gegenstand von Quali- 
von Missings (TMF-1022) tätssicherungsmaßnahmen. 

Unerlaubte Werte zur Kodierung Sollten durch Definition von geeigneten Sprungregeln nicht 
von fehlenden Modulen auftreten, daher 0% Toleranz. Jeder Fall ist Gegenstand von 
(TMF-1023) Qualitätssicherungsmaßnahmen. 

Unerlaubte Werte bei quantitati- Sollten bei EDC in geschlossenen Ergebnisformaten oder bei 


ven Datenelementen zur Kodierung automatischem Übertrag aus Messgeräten nicht auftreten, 
von Unter- oder Überschreitungen daher 0% Toleranz. Jeder Fall ist Gegenstand von Qualitäts- 
von Messbarkeitsgrenzen sicherungsmaßnahmen. 

(TMF-1024) 


Nachweis bekannter Korrelationen Kann als Element der Qualitätskontrolle unter Nutzung von 

(TMF-1027) verfügbaren Informationen aus Vorwellen oder anderen Stu- 
dien mit ähnlicher Methodik genutzt werden. Problematisch 
ist die Definition von zulässigen Grenzen für eine Bewertung 
qualitätsrelevanter Abweichungen. 


VI.3.4 Beispielhafte Implementierung von Qualitätsindikatoren 
in der SHIP-Studie 


SHIP ist nicht auf die Erfassung bestimmter vordefinierter Erkrankungen, 
subklinischer Auffälligkeiten oder Risikofaktoren ausgelegt [Vélzke et al. 2011]. 
Vielmehr werden gesundheitsrelevante Endpunkte in einer maximal mögli- 
chen Breite gemessen. Entsprechend umfasste SHIP in der letzten Erhebungs- 
welle mehrere dutzend Untersuchungen mit einer Gesamtdauer von über 
20 Stunden. Diese reichten von einem Interview und Fragebögen über eine 
Blutdruckmessung, kardiovaskuläre Untersuchungen, bildgebende Verfahren 
incl. Ultraschall und MRT bis hin zu einer dermatologischen Untersuchung 
und Schlaflabor. Dadurch entstehen sehr hohe Anforderungen an die Imple- 
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mentation einer leistungsfähigen Qualitätssicherung, im Rahmen derer ein 
begrenzter Mitarbeiterstab vielfältige Untersuchungen mit heterogenen An- 
forderungen betreuen muss. 


Strukturell ist das Organisationszentrum für die Studienplanung verantwort- 
lich, während das Untersuchungszentrum die SHIP-Kernuntersuchungen 
durchführt. Hinzu kommen assoziierte Kliniken, die spezielle Untersuchungs- 
module durchführen, z.B. die Radiologie oder Dermatologie. Für jede Unter- 
suchung sind auf Seiten des Untersuchungszentrums Untersuchungs- und 
Geräteverantwortliche definiert, auf Seiten des Organisationszentrums ein 
Qualitätsverantwortlicher. Dieser ist für die geeignete Implementierung und 
Durchführung der Untersuchungen verantwortlich. 


Soweit das Monitoring von Daten im Vordergrund steht, kommt teilautoma- 
tisch generierten Qualitätsreports bei SHIP eine herausgehobene Rolle zu. Die- 
se werden für alle Untersuchungsmodule generiert und operationalisieren zahl- 
reiche Indikatoren der TMF-Leitlinie. Die vierteljährlich, bei Bedarf auch öfter 
generierten Qualitätsreports haben folgende Merkmale und Voraussetzungen: 


= In den verschiedensten Untersuchungsmodulen sind ähnliche Indika- 
toren sinnvoll einsetzbar. Im Fokus der Reports stehen die Anzahl feh- 
lender Werte (TMF-1012-1016), Extremwerte (TMF-1018), die Variabilität 
von Messwerte zwischen Untersuchern (TMF-1009), Geräten (TMF-1010) 
und Befundern (TMF 1011), die Bevorzugung bestimmter Endziffern 
(TMF-1007), sowie Zeittrends (TMF-1009-1011). Unerlaubte Werte (TMF- 
1021-1026) werden bereits vorab im Datenmanagement erfasst. 

= Hauptzielsetzung der Berichte ist die kontinuierliche Verbesserung der 
Datenqualität während der laufenden Studie. Daher ergeben sich stren- 
ge Grenzwerte für die Einleitung qualitätssichernder Maßnahmen, die 
bereits bei Verdacht auf Probleme ansetzen. 

= Der statistische Berichtsteil wird inkl. der Tabellen und Grafiken durch 
Skripte automatisch generiert, manuell erfolgt lediglich die Interpreta- 
tion durch die Qualitätsverantwortlichen, die in einer Datenbank über 
eine Webeingabemaske eingetragen wird. Die automatische Zusam- 
menstellung ist Voraussetzung zur breiten Abdeckung der erhobenen 
Variablen. Der Report wird über LaTeX erstellt und als PDF-Dokument 
ausgegeben. 

= Alleerhobenen Variablen unterliegen einem Screening auf Auffälligkei- 
ten, dies umfasst die 0.g. Aspekte exklusive Endziffern und Zeittrends. 
Ein Teil der Variablen wird mit Fokus auf die Variabilität der Messwerte 
und Zeittrends vertieft analysiert und graphisch dargestellt. Über die 
Zuordnung zu einer vertieften Analyse entscheiden die Bedeutung einer 
Variable für spätere Analyseprojekte und das erwartete Risiko für Daten- 
auffälligkeiten. 

= Die Zuweisung von Probanden zu Untersuchern erfolgt annähernd ran- 
domisiert, da die Terminvergabe Probandenmerkmale nicht berücksich- 
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tigt. Aus dieser quasi-experimentellen Situation ergibt sich, dass der Er- 
wartungswert ftir beobachtete Probandenmerkmale zwischen Untersu- 
chern identisch sein sollte. Abweichungen von Messwerten zwischen 
Untersuchern weisen unter der Voraussetzung ausreichender Fallzahlen 
auf systematische Fehler hin, die einer Abklarung bediirfen. Hinsicht- 
lich der Annahme gleicher Erwartungswerte besteht eine wichtige Ein- 
schränkung: Probandenmerkmale verändern sich im Verlauf einer Er- 
hebungswelle, ein wichtiger Einflussfaktor sind Rekrutierungsmetho- 
den [Haring et al. 2009]. Daher gilt die Annahme gleicher Erwartungs- 
werte nicht für Untersucher, die zu verschiedenen Zeiträumen tätigsind. 
= Alle Indikatoren werden hinsichtlich der Entscheidung über qualitäts- 
sichernde Maßnahmen unabhängig voneinander betrachtet. Daher 
wurde bislang kein übergreifender Score entwickelt und genutzt. 


Weitere qualitätsrelevante Indikatoren werden außerhalb der Qualitätsreports 
gebildet, da sie für keine einzelne Untersuchung spezifisch sind. Dazu zählen 
die Rekrutierungsrate (TMF 1030), Dubletten (TMF-1029), Verweigerungsraten 
(TMF-1031) oder vorzeitig ausscheidende Beobachtungseinheiten (TMF-1034). 


Am Beispiel der Anwendung von Schwellen zur Entscheidung über Maßnah- 
men der Qualitätssicherung im Rahmen einer laufenden Datenerhebung in 
SHIP zeigen sich sehr deutliche Unterschiede zu Registern. Laut TMF-Leitlinie 
liegen empfohlene Schwellen für den Anteil von Werten mit Auffälligkeiten 
bei fehlenden Werten bei mandatorischen Datenelementen bei 5%, der Grenz- 
wert für Auffälligkeiten Widerspruchsfreiheit liegt bei 5% und der für Extrem- 
werte bei 10%. Im Gegensatz hierzu liegen die entsprechenden Grenzwerte bei 
SHIP für diese Felder bei 0%. Der Grund ist, dass aufgrund des EDC weder feh- 
lende noch unbekannte Werte im Rahmen der Datenerhebung auftreten dür- 
fen. Jeder Einzelfall führt zur Überprüfung, um eine Wiederholung zu ver- 
meiden. Auch bei Extremwerten führen vordefinierte Plausibilitätsgrenzen 
zu einem Routinecheck aller außerhalb liegender Werte mit den Untersuchern 
und ggfs. den Fachverantwortlichen für die Untersuchung. 


Komplizierter gestaltet sich die Bewertung auffälliger Werteverteilungen. Die 
Variabilität der Messwerte zwischen Untersuchern, Befundern und Geräten 
wird über Intraklassenkorrelationen (ICC) und Design-Effekte bestimmt sowie 
im Verlauf graphisch auf Basis von nichtparametrischen Regressionsmodellen 
visualisiert. Weil verschiedene Untersucher unterschiedliche Probanden 
untersuchen, indiziert eine niedrige Intraklassenkorrelation wenig systema- 
tische Abweichungen. Da sowohl graphische als auch statistische Ergebnisse 
genutzt werden, ist kein strikter Grenzwert vorgegeben. Üblicherweise werden 
Variablen mit ICC > 0,02 Gegenstand weiterer Betrachtungen. 


Zusätzliche Grenzwerte spielen bei der Auswertung von Zertifizierungsergeb- 
nissen eine Rolle, auf deren Basis sich sowohl Maße zur Inter- wie Intra-Rater- 
Reliabilität bilden lassen. Visualisiert werden Zertifizierungsergebnisse im 
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Falle kontinuierlicher Variablen über Bland und Altman Plots [Bland/Altman 
1999]. Der Standard in SHIP für das Bestehen einer Zertifizierung ist u.a. we- 
niger als 5% durchschnittliche Abweichung (mean bias) im Vergleich zum 
Goldstandard [Völzke et al. 2011]. Bei dichotomen Outcomes sollte ein Kappa- 
Wert > 0,8 erreicht sein. 


Die erhebliche Komplexität der Implementierung der Studie zur Gewahrleis- 
tung eines aussagekräftigen Monitorings kann am Beispiel bildgebender Ver- 
fahren demonstriert werden. Mögliche Einflussfaktoren für die Ergebnisse sind 


1. das Messgerät zur Erstellung der Bilder, 

2. der Untersucher, der diese Bilder aufnimmt, 

3. der Befunder, der die Bilder auswertet und 

4. die Technik, die der Befunder verwendet (z.B. Monitor, Software). 


Genaugenommen sind auch die räumlichen Verhältnisse, z.B. angemessene 
Verdunkelung, unter denen die Bilder gemacht und befundet werden, rele- 
vant. Alle Ebenen voneinander zu trennen ist statistisch komplex und kann 
im Falle von Studien mit mehreren Untersuchern, Geräten und Befundern nur 
dadurch adäquat gelöst werden, dass erstens eine vollständige Dokumentation 
dieser Faktoren erfolgt und zweitens diese Einflussfaktoren unabhängig von- 
einander sind. Verhindert werden muss also, dass z.B. Mitarbeiter A bevorzugt 
Raum 2 mit Gerät 2 bedient und dies in der Frühschicht, während Mitarbeiter 
B Raum ı mit Gerät 1 nimmt und vorwiegend Wochenenden und Nachmittage 
betreut und beide dazu ihre eigenen Bilder befunden. In diesem Fall ist die 
Beurteilung der Fehlerquellen untrennbar konfundiert. Letztlich sind also 
aussagekräftige Metadaten erforderlich, um die Belastbarkeit von statisti- 
schen Routinen und Ergebnissen besser deuten zu können, was im Indikator 
TMF-1050 abgebildet werden kann. 


V1.3.5 Zusammenfassung und Ausblick 


Indikatoren zur Messung der Datenqualität in Kohortenstudien sind unver- 
zichtbar und sind in der aktuellen TMF-Leitlinie Datenqualität aufgeführt. 
Dass diese Indikatoren nicht alle Aspekte der Qualitätssicherung in Kohorten- 
studien umfassen, liegt am Fokus auf die Bewertung vorliegender Daten. Das 
Implementationsbeispiel in SHIP verdeutlicht, dass eine praktikable Bildung 
von Indikatoren in einer komplexen Kohortenstudie IT-Lösungen erfordert. 
Ein offener Punkt ist die Aggregation verschiedener Indikatoren zu globalen 
Kennwerten der Studienqualität. Diese Aggregation gestaltet sich kompliziert, 
da Kohortenstudien ein sehr breites Spektrum von Endpunkten und Methoden 
umfassen. Nur wenige Indikatoren sind für eine Kohortenstudie von globaler 
Bedeutung, z.B. die Rekrutierungsrate, während die meisten anderen spezi- 
fisch für einzelne Untersuchungsmodule und darin enthaltene Variablengrup- 
pen sind. Mit der gelungenen Implementation eines Interviews wird nichts 
über die Qualität bildgebender Verfahren in der gleichen Studie ausgesagt, da 
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sich Techniken und Personal unterscheiden. Daher ist z.B. die Bildung von 
Mittelwerten der Indikatoren über alle Untersuchungsmodule wenig aussage- 
kräftig. Zielführender ist eine Aggregation auf der Ebene einzelner Untersu- 
chungsmodule. Daraus lassen sich Hinweise zu potenziellen Problematiken 
bei konkreten Analyseprojekten gewinnen. 


Geeignete Studiendesigns sind eine wesentliche Voraussetzung, um aussage- 
kräftige Indikatoren zur Datenqualität zu generieren. Einige Designelemente 
sollten dabei eine größere praktische Bedeutung erhalten als bisher. Beispiels- 
weise würden Validierungsstudien innerhalb einer Kohortenstudie vielfältige 
Optionen eröffnen, Indikatoren der Ebene Richtigkeit zu generieren. Sofern 
Sekundärdatenquellen in Kohortenstudien genutzt werden, bieten sich leis- 
tungsfähige Möglichkeiten zur Bildung von Indikatoren der Ebene Richtigkeit 
für die Register selbst. Standardisierte und zumeist besser qualitätsgesicher- 
te Messungen der Kohortenstudien könnten zur Validierung von Angaben aus 
Sekundärdatenquellen dienen, beispielsweise in Hinblick auf chronische Er- 
krankungen. Ein Beispiel ist die Abbildung von Hypertonie von Patienten in 
Daten der Kassenärztlichen Vereinigung im Vergleich zu den standardisierten 
Messungen einer Kohortenstudie. 


VI.4 Anwendungsempfehlungen für Data Repositories 


Thomas Schrader 


Vi.4.1 Einleitung 


Unter einem klinischen Forschungsdatenregister wird ein Repository verstan- 
den, welches klinische Daten aus unterschiedlichen Quellen für Forschungs- 
zwecke zugänglich macht [Eminaga et al. 2013, Hruby et al. 2013, Piwowar/ 
Vision 2013, Sinacietal. 2013]. Dabei können unterschiedliche Strategien um- 
gesetzt werden: 


1. Die Datenhaltung erfolgt in einem zentralen Register als sog. Centrali- 
zed Research Data Repository [Hruby et al. 2013]. 

2. Es wird ein föderierter Ansatz verfolgt, der die eigentlichen Daten in den 
Quellen halt. Die Abfrage erfolgt via Metadaten tiber die Einzelquellen 
[Ngouongo et al. 2013, Sinaci et al. 2013, Weber 2013]. 


Allen gemeinsam ist die Tatsache, dass der Aufbau und die Datenhaltung an 
keine spezifische Forschungsfrage gebunden sind. Vielmehr steht die Erschlie- 
ßung von klinischen Daten im Vordergrund unter dem Aspekt der Wiederver- 
wendung dieser Daten (secundary use of clinical data). 


Das Open European Nephrology Science Center (OpEN.SC) ist ein Forschungs- 
daten-Repository für klinische Daten aus dem Bereich der Nephrologie. Es war 
ein von der Deutschen Forschungsgemeinschaft gefördertes Projekt aus dem 
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Bereich der Digitalen Bibliotheken, welches 2013 abgeschlossen wurde. Ent- 
standen ist eine internetbasierte Plattform mit einer serviceorientierten 
Architektur (SOA), die in der Lage ist, innerhalb von kurzer Zeit klinische 
Daten aus unterschiedlichen Einrichtungen und dementsprechend verschie- 
dener Infrastruktur in einem Repository zusammenzuführen und für For- 
schungsfragen zugänglich zu machen. Aus drei nephrologischen Kliniken 
sowie dem Institut für Pathologie der Charite, Universitätsmedizin Berlin, 
wurden ca. 20.000 Fälle für die Forscher erschlossen und zugänglich gemacht. 
Dabei wurden Krankheitsverläufe von mehr als 15 Jahren ebenso eingeschlos- 
sen wie auch vollständig digitalisierte histologische Schnitte als sogenannte 
Whole Slide Images (WSI). 


OpEN.SC verstand sich als eine Einrichtung der Datenhaltung und des Daten- 
managements. Die Aufgabe ist mit der einer „Research Data Stewardship“ zu 
vergleichen [Marco 2000]. Aus dieser Rolle im Lebenszyklus wissenschaftlicher 
Daten ergaben sich zum einen eine besondere Verantwortung und zum ande- 
ren eine besondere Sichtweise auf Daten und Datenqualität. 


VI.4.2 Schwerpunkte der Qualitätssicherung in einem Daten-Repository 


2007 wurde die vorliegende Leitlinie in Version 1.0 publiziert [Nonnemacher 
etal. 2007]. Darin wurden zum ersten Mal systematisch für den medizinischen 
Bereich Datenqualitätskriterien vorgestellt und in den Kontext von Tumorre- 
gistern und Kohortenstudien gebracht. 2012 wurden einige Qualitätsparame- 
ter ergänzend aufgenommen, die sich als bedeutungsvoll für andere Arten von 
Datenbeständen wie Kohorten (Study of Health in Pomerania - SHIP, Greifs- 
wald) und Forschungsdatenregistern wie OpEN.SC erwiesen haben [Stausberg 
etal. 2012]. 


VI.4.3 Beschreibung ausgewählter Indikatoren der Leitlinie 
für Forschungsdaten-Repositorien 


Im Rahmen des OpEN.SC Projektes wurde sehr frühzeitig begonnen, das The- 
ma Datenqualität aufzugreifen. Dabei wurde in der Diskussion festgestellt, 
dass die Meinungen und das Verständnis von Qualität sehr stark divergierten. 
Es wurde klar, dass klinisch tätige Kolleginnen und Kollegen andere Anforde- 
rungen an die Daten haben als beispielsweise Pathologinnen und Pathologen. 
Aus der Sicht des Systemadministrators wurden wiederum andere Aspekte 
betrachtet. Diese Unterschiede lassen sich dadurch erklären, dass die Daten 
inhaltlich anders strukturiert sein müssen, wenn eine Verlaufsuntersuchung 
retrospektiv durchgeführt werden soll oder wenn nach Mustern und Zusam- 
menhängen in Daten gesucht wird. 


Für ein Forschungsdaten-Repository ist kennzeichnend, dass die Daten zu- 
nächst ohne konkrete Aufgabenstellung gesammelt werden. Die klinischen 
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und Bild-Daten werden aus unterschiedlichen Quellen, in unterschiedlichem 
Umfang und mit unterschiedlichem Format im Register abgelegt. Die Ana- 
lyse von Datenqualitat verfolgt deshalb zwei Ziele: 


1. Anwender und Nutzer der Daten sollen einen Uberblick erhalten, mit 
welchen Daten und Eigenschaften der Datensammlung sie es zu tun ha- 
ben. Dazu können Parameter verwendet werden, die das Repository be- 
schreiben. 

2. Die Frage nach der Datenqualität soll vor dem Hintergrund einer spezi- 
fischen Aufgabenstellung (z.B. Studienrekrutierung) untersucht wer- 
den. Zentrale Frage dabei ist, ob die Daten hinsichtlich Inhalt und Form 
hinreichend gut sind, um verlässliche Aussagen zu erhalten. Dabei kön- 
nen für einige Parameter konkrete Anforderungen formuliert und damit 
auch bewertet werden. 


Um ein allgemeines Verständnis von Datenqualität zu entwickeln, wurde be- 
gonnen, eine Ontologie zu entwickeln, die versucht, die unterschiedlichen 
Sichten in Beziehung zu bringen. Diese Ontologie wurde auf Grund der Inte- 
gration von WSI in das OpEN.SC-Repository um Aspekte der Bildqualität er- 
weitert (s. http://bioportal.bioontology.org/ontologies/IDQA) (s. Abb. 6). 


In der Ontologie werden die Qualitätsparameter Dimensionen zugeordnet und 
ein Zusammenhang zum Daten-Lebenszyklus sowie zu den Akteuren im je- 
weiligen Anwendungskontext hergestellt. Insgesamt wurden 18 verschiedene 
Qualitatsdimensionen aus der Literatur identifiziert [Wand/Wang 1996, Los- 
hin 2001, Pipino et al. 2002, Sebastian-Coleman 2013] und für das OpEN.SC- 
Repository spezifiziert (s. Abb. 7). 


In die Ontologie wurden alle Qualitätsparameter der TMF-Leitlinie in der ers- 
ten und dann modifizierten Version aufgenommen. Jeder Parameter wurde 
auf eine Dimension der Ontologie abgebildet. In der aktuellen Version der 
TMF-Leitlinie werden alle dort genannten Qualitätsparameter drei Ebenen 
zugeordnet: Integrität, Organisation und Richtigkeit. 


In den Tabellen 11 bis 13 werden aus der Leitlinie die für Forschungsdaten-Re- 
positories interessanten Qualitätsparameter herausgegriffen, in die Bild- und 
Daten-Qualitätsontologie eingeordnet und deren Bedeutung diskutiert. Die 
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Abb.6 Übersicht Daten- und Bildqualitatsontologie 
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Abb.7 Dimensionen von Datenqualität in der Ontologie 


hier genannten Qualitätsparameter erlauben einen wesentlichen Einblick in 
die Datenqualität und stellen zwischen den Datenzentren eine Vergleichbar- 
keit her, die in der gemeinsamen Betrachtungs- und Berechnungsweise be- 
gründet ist. Dadurch, dass die möglichen Anfragen nach Daten in Forschungs- 
registern sehr unterschiedlich sein können, werden weitere Parameter benö- 
tigt, die den Datenbestand beschreiben und dabei helfen, dass die Nutzer die 
Qualität auch bewerten können. 


Tab.11 Qualitätsindikatoren der Ebene Integrität für ein Forschungsdaten-Repository 


Name des Parameters Einordnung in die Ontologie 


Erläuterung 


TMF-1003, Widerspruchsfreiheit, sicherer Wider- 
TMF-1004, spruch, möglicher Widerspruch 
TMF-1005 


Consistent Representation 


TMF-1007 Bevorzugung bestimmter Endziffern Believability, Interpretability 


Das Auftreten von bestimmten Endziffern schränkt sowohl die Glaubhaftigkeit der 
Daten als auch deren Interpretation ein. In dem Forschungsdaten-Repository kann nicht 
geklärt werden, warum die Ziffern vergeben wurden. Aus den Häufigkeiten kann 
lediglich eine Rückkopplung an die Klinik erfolgen, dieses Problem eingehender zu 
beobachten und ggf. die Datenqualität zu verbessern. 


TMF-1035 Endlosüberlebende Completeness, Consistent Representation 


Die Anzahl der Endlosüberlebenden lässt sich relativ schnell ermitteln. Bei einer hohen 
Anzahl der Endlosüberlebenden in einem Datensatz ist nicht gleich von einer 
schlechten Datenqualität auszugehen. Es lässt lediglich die Aussage zu, dass die 
Sterbedaten in den Datenbestand nicht oder nur wenig nachgetragen werden. Bei 
Daten aus einer elektronischen Krankenakte ist das eher die Regel. 
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Name des Parameters Einordnung in die Ontologie 


Erläuterung 


TMF-1013 


TMF-1014 


TMF-1015 


TMF-1016 


TMF-1017 


TMF-1018 


TMF-1019 


Anteil fehlender Werte bei Datenelementen | Completeness 


Dieser Wert kann für eine Datenquelle erhoben werden, der dann weiter in mandato- 
risch (TMF-1014) und optional (TMF-1015) differenziert wird. Die Bewertung dieses Para- 
meters muss allerdings differenziert erfolgen. Da es sich um klinische Daten aus dem 
normalen Behandlungsprozess handelt, bestehen die Daten aus einer Datenquelle auch 
aus unterschiedlichen Diagnosen und Diagnosegruppen. Jede Erkrankung hat ihr spezi- 
fisches Muster an erhobenen Daten. Fehlende Werte in Datenelementen können auch 
bedeuten, dass diese Werte für Patienten oder Erkrankungen nicht relevant waren und 
deshalb nicht erhoben wurden, obwohl das Datenelement an das Forschungsregister 
mit übertragen wurde. Hier muss im Einzelfall entschieden werden, ob der Wert fehlt 
obwohl dieser prinzipiell vorhanden und/oder für die Erkrankung interessant war. 


Anzahl fehlender Werte bei mandatori- Completeness 
schen Datenelementen 


Die Menge der mandatorischen Datenelemente ist im OpEN.SC-Register relativ klein und 
bezieht sich im Wesentlichen auf die Stammdaten wie Alter, Geschlecht und Diagnosen. 


Anzahl fehlender Werte bei optionalen Completeness 
Datenelementen 


Siehe auch Kommentar zu TMF-1013. 


Anteil von Datenelementen mit dem Wert | Believability, Interpretability 
unbekannt o.ä. 


Dieser Parameter ist verwandt mit den Parametern TMF-1007 und TMF-1025. 


Datenelemente mit bestehenden Einträgen | Completeness 
bei allen Beobachtungseinheiten 


Dieser Parameter ist wichtig für die Beurteilung, in wie weit in allen Datensätzen aus 
den unterschiedlichen Quellen gesucht werden kann. Im Forschungsregister von OpEN. 
SC wurden mit den einzelnen Datenquellen separate Vereinbarungen getroffen, welche 
Daten zum Register übertragen wurden. Für jede Quelle können also unterschiedliche 
Datenelemente vorliegen. Die Frage ist nun, mit welchem Datenelement erfolgt eine 
Suche in allen Daten, weil dieses Datenelement in jeder Quelle zumindest geführt 
wurde. Ob das jeweilige Datenelement auch einen Wert hat, ist damit noch nicht 
beantwortet und kann nur über die Erhebung von TMF-1013 bis TMF-1015 erfolgen. 


Ausreißer in stetigen Datenelementen Believability 


Prinzipiell ist eine Analyse von Daten nach Ausreißern sinnvoll. Sie ist allerdings an die 
Bedingung geknüpft, ob für den betrachteten (Labor-)Wert auch Metainformationen 
über das Untersuchungsverfahren vorliegen. Nur mittels dieser Metadaten kann ein 
geeigneter Grenzwert für Ausreißer festgelegt werden. Deshalb ist das Vorliegen von 
Metadaten zu Laborwerten essentiell (siehe TMF-1050). 


Werte, die die Messbarkeitsgrenzen von Believability 
Verfahren unter- oder überschreiten 


Dieser Qualitätsparameter verhält sich analog zu TMF-1018. Um für die Qualitätsanaly- 
se Grenzwerte festzulegen, muss das Messverfahren genau bekannt sein. 
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TMF-ID Name des Parameters Einordnung in die Ontologie 


Erläuterung 
TMF-1020 Werte aus Standards Understandability 


Die Verwendung von Standardterminologien und Begriffen gemäß internationaler 
Klassifikationen erhöht das Verstehen z.B. von Diagnosen. Berücksichtigt werden muss 
hierbei, das für bestimmte medizinische Domänen einige Klassifikationen zu wenig 
differenziert den Sachverhalt wiedergeben. Zum Beispiel: Diagnostische Begriffe der 
Pathologie lassen sich sehr schlecht mit den Begriffen der ICD-10 abbilden, die sich 
eher an klinischen Entitäten orientiert. Umso wichtiger ist es dann, dass die Begriffe 
aus der Pathologie gemäß einer vereinbarten Terminologie verwendet werden z.B. 
SNOMED CT. Problematisch wird es insbesondere dann, wenn Spezialbegriffe 
verwendet werden, die jeweils nur in einer Datenquelle auftreten. 


TMF-1021 Unerlaubte Werte bei qualitativen Interpretability 
Datenelementen 
TMF-1050 Anteil der von Untersuchungen Completeness, Interpretability 


übermittelten Metadaten 


Es ist davon auszugehen, dass in einem Forschungsdatenregister Laborwerte aus 
unterschiedlichen Laboren mit verschiedenen Messverfahren und -bedingungen 
vorliegen. Diese Laborwerte können nur dann interpretiert und verglichen werden, 
wenn die Informationen über die Verfahren vorliegen und darüber eine Vergleichbar- 
keit wenn möglich hergestellt werden kann. Die Bedeutung von Metadaten für 
Untersuchungsverfahren und -bedingungen kann hier nur unterstrichen werden und 
gilt auch für alle bildgebenden Verfahren einschließlich der virtuellen Mikroskopie. 
Eine differenzierte, vergleichende Untersuchung von Laborwerten und Bildern über 
verschiedene Institutionen hinweg kann nur erfolgen, wenn sichergestellt ist, dass die 
Werte oder Bilder auch wirklich vergleichbar sind. Deshalb wurde dieser Qualitätspara- 
meter in der Ontologie auch unter Completeness eingeordnet. Für jeden Laborwert 
bzw. auch für jede Bildkategorie kann genau festgelegt werden, welche Metadaten 
vorhanden sein müssen, damit die Interpretierbarkeit sichergestellt werden kann. Die 
Verwendung von LOINC-Kodes ist dabei sehr sinnvoll. 


Tab. ı2 Qualitätsindikatoren der Ebene Organisation für ein Forschungsdaten-Repository 


TMF-ID Name des Parameters Einordnung in die Ontologie 


Erläuterung 
TMF-1028 Aktualität der gespeicherten Daten Timerelation/Timelines 


Im OpEN.SC Forschungsdaten-Repository wird dieser Parameter anders angegeben als in 
der Leitlinie: Das Forschungsdaten-Repository hat einen regelmäßigen Update-Zyklus (z.B. 
wöchentlich). Gemäß dieser Frequenz liegen die aktuellen Werte im Register vor. Der 
Bezug auf einzelne Werte mit Zeitdifferenz und akzeptabler Zeitdifferenz ist so in einem 
Forschungdatensrepositorium nicht umzusetzen. In der Literatur wird die Verwendung 
der Begriffe Timelines und Currency diskutiert [Wand/Wang 1996], wobei hier unter- 
schieden wird zwischen der Aktualität der Daten selbst und der Aktualisierung eines 
Datensatzes. In einem Forschungsregister kann lediglich zur Häufigkeit der Updates aus 
den Datenquellen Stellung genommen werden. Die Bewertung dieses Parameters ist 
dann sehr davon abhängig, welche Anforderungen die Nutzerin der Daten hat. 
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Name des Parameters Einordnung in die Ontologie 


TMF-1030 


TMF-1036 


Erläuterung 


Rekrutierungsrate Completeness/Population completeness 


Dieser Parameter ist der Qualitätsdimension Vollständigkeit zugeordnet, wobei hier 
der Aspekt der vollständigen Erfassung der gewünschten Personen im Vordergrund 
steht. Das kann in einem Forschungsdaten-Repository bei der Festlegung der übertrage- 
nen Daten und Metadaten bestimmt werden. Später lässt sich dieser Parameter aus 
dem Datenbestand selbst nicht mehr bestimmen, da keine Relation zur Grundgesamt- 
heit hergestellt werden kann. 


Anzahl Synonyme Understandability 


Aus Sicht eines Forschungsdaten-Repositories ist es wichtig, die Anzahl möglicher Syno- 
nyme bzw. die Synonyme für einen Begriff selbst zu kennen. Eine hohe Anzahl von 
Synonymen spricht nicht zwangsläufig für eine schlechte Datenqualität. Verwendete, 
aber nicht bekannte Synonyme erschweren das Verständnis eines Datensatzes. Wenn 
Synonyme in Klassifikationen und Terminologien benannt sind und entsprechend ein- 
geordnet werden, sind Synonyme unproblematisch. Deshalb ist hier auch der Qualitäts- 
parameter TMF-1020 (Werte aus Standards) interessant. Die Bewertung von Synonymen 
in einem Datenbestand ist nicht einfach: Das Management von Synonymen ist häufig 
eher ein technisches Problem und spielt in der Lebenszyklus-Phase der Datenverarbei- 
tung eine Rolle. Die Verarbeitung von Synonymen ist dann kompliziert, wenn sie sich 
nicht eindeutig auf einen Begriff zuordnen lassen. Somit ist die Anzahl der nicht ein- 
deutig referenzierbaren Synonyme ein interessanter Qualitätsparameter (klassisches 
Beispiel: HWI als Hinterwandinfarkt und als Harnwegsinfekt), weil dieser auch die 
Retrievalqualität stark beeinflusst. 


Tab. 13 Qualitätsindikatoren der Ebene Richtigkeit für ein Forschungsdaten-Repository 


TMF-ID 


TMF-1043 


Name des Parameters Einordnung in die Ontologie 


Erläuterung 


Genauigkeit der Registerdaten Free of Error 


Im OpEN.SC Forschungsdaten-Repository ist diese Frage insbesondere wichtig für Diag- 
nosen. Problematisch dabei aber ist, dass Diagnosen stets Abstraktionsvorgänge sind, 
die von Ärztin zu Ärztin unterschiedlich sein können. Die Frage nach der wirklichen 
Diagnose lässt sich nicht beantworten. Hier hat sich das Vorgehen bewährt, dass zu 
Diagnosen und Fällen insgesamt eine Zweitmeinung eingeholt wird. Damit kann ein 
Maß angegeben werden, in wie weit Erstmeinung und Zweitmeinung übereinstimmen. 
Aus diesem Vorgehen heraus lassen sich weitere Maße ableiten: Anzahl der Fälle, für 
die eine Referenzmeinung eingeholt wurde, Anzahl der übereinstimmenden Fälle, 
Anzahl der Abweichungen, Anzahl der Fälle mit groben Abweichungen u.a. 
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Name des Parameters Einordnung in die Ontologie 


Erläuterung 


TMF-1047 Übereinstimmung mit Verfahrensregeln Reputation 


In einem Forschungsdaten-Repository erfolgt die Auswertung retrograd. Da die Daten 
aus verschiedenen Quellen kommen und auch der Nutzungskontext offen ist, stellt sich 
nach der Suche von Fällen die Frage, ob die Qualität der Daten dieser Fälle geeignet ist, 
um eine Studie durchzuführen (siehe Anwendungsbeispiel). Dieses Maß ist aus Sicht 
der Forschungsregister ein zusammengesetztes Maß, weil die Verfahrensregeln sehr 
unterschiedlich sein können. Sie können die Vollständigkeit aller Dateneinträge ebenso 
fordern (siehe TMF-1013 bis TMF-1015) wie die Kontrolle der Daten und/oder Diagnosen 
von einer beauftragten Stelle. Die Erfüllung dieser Kriterien ist auf jeden Fall ein gutes 
Zeichen für Datenqualität und erhöht deren Reputation. 


VI.4.4 Beispielhafte Implementierung von Qualitätsindikatoren 
im OpEN.SC-Forschungsdaten-Repository 


Vi.4.4.1 Einführung 


Im Rahmen des OpEN.SC-Projektes wurden verschiedene Aspekte der Daten- 
qualität in eigenständigen Forschungsvorhaben untersucht und einige Indi- 
katoren evaluiert. Zunächst wurden die Metadaten von radiologischen Bildern 
analysiert, die stellvertretend für Labordaten betrachtet werden können (TMF 
Qualitätsparameter TMF-1050: Anteil der von Untersuchungen übermittelten 
Metadaten). Für die Entwicklung eines Studyadvisors wurden das Qualitäts- 
kriterium TMF-1020: Werte aus Standards eingehender untersucht [Streit etal. 
2012; Streit 2013]. 


V1.4.4.2 Die Anwendung des Qualitätsfaktors: 
Umfang der Metadaten bei Untersuchungen 


Metadaten enthalten Informationen über die Daten selbst. Bei Laboruntersu- 
chungen sind dem reinen Laborwert selbst weitere Information zugeordnet 
wie zum Beispiel: 


= Welche Labormethode wurde zur Bestimmung des Wertes herangezogen? 

= Was sind die Grenzwerte für diese Laboruntersuchung’? 

= Unter welchen Bedingungen wurde die Untersuchung durchgeführt, 
z.B. nüchtern oder nach einer Mahlzeit? 


7 Bei einigen Laborverfahren werden von Labor zu Labor unterschiedliche Grenzwerte angegeben. Zur Beurteilung 
eines Wertes ist es allerdings notwendig, die Grenzen zu kennen. 
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Diese Informationen können mittels eines Kodes der Logical Observation Iden- 
tifiers Names and Codes (LOINC) als Metadatum tibermittelt und gespeichert 
werden (s. http://loinc.org/). Fiir radiologische Bilder gibt es ebenfalls Meta- 
daten, die die Untersuchungsverfahren und -bedingungen naher beschreiben, 
wenn die Bilder im DICOM-Format abgespeichert werden. DICOM kann alle 
notwendigen Metainformationen zu einem Bild aufnehmen und fiir die spa- 
tere Wiederverwendung bereitstellen (s. http://medical.nema.org/). 


In 3.461 anonymisierten DICOM-Bildern aus unterschiedlichen Einrichtungen 
und von verschiedenen Geräten wurde untersucht, wie viele Metadaten-Items 
für jedes Bild abgespeichert wurden. Weiterhin wurde dann bestimmt, wie 
viele Metadaten-Items von allen Bildern verwendet wurden. Die Anzahl ge- 
meinsamer Elemente ist ein wichtiger Indikator dafür, ob eine Suchanfrage 
auf diesem Bilddatensatz auch wirklich alle Bilder erreicht. In den untersuch- 
ten Bildern wurden zwischen 60 und 205 Metadaten-Items gefunden. Am häu- 
figsten wurden die Bilder mit 96 Metadaten versehen (s. Abb. 8). 


Häufigkeit 
co 
s 


H ‘La Lui og 


60 80 100 120 140 160 180 200 
Anzahl verwendeter Metadaten 
Abb. 8 Verteilung der Anzahl von verwendeten Metadaten in den radiologischen Bildern 


Die Anzahl der gemeinsam verwendeten Metadaten war sehr gering: nur 
5 Metadaten wurden von allen Bildern verwendet und erlauben damit eine 
Suche in allen Bildern. Mit nur 15 Metadaten werden 50% der Bilder in einer 
Suchanfrage erreicht (s. Abb. 9). Mit dieser Untersuchung konnte gezeigt wer- 
den, dass selbst die Verwendung eines Standards (hier DICOM) nicht sicher- 
stellt, dass alle Elemente in einem Suchraum abgefragt werden können. 
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Abb.9 Häufigkeit gemeinsam verwendeter Metadaten-Items 


V1.4.4.3 Der StudyAdvisor der OpEN.SC-Plattform 


Die Durchführung einer empirischen Studie stellt einen komplexen Prozess 
dar. Das Forschungsdaten-Register des OpEN.SC bietet die Möglichkeit, retro- 
spektiv Untersuchungen an den Daten durchzuführen. Allerdings sind für 
diese Studien wichtige Kriterien der Datenqualität zu erfüllen. 


Der Prozess der Vorbereitung einer retrospektiven Studie schließt die Suche 
nach geeigneten Patienten und Patientinnen an Hand von Einschluss- und 
Ausschlusskriterien ein. Am häufigsten wird nach einer bestimmten Diagno- 
se bzw. einer Diagnosekombination, Alter und Geschlecht gesucht. Für das 
Finden geeigneter Fälle ist es daher sehr wichtig, dass entweder die Diagnosen 
einen einheitlichen Schlüssel verwenden, z.B. die ICD-10, oder die diagnosti- 
schen Begriffe des ICD-10, Werden Synomyma verwendet und lassen sich die- 
se nicht auf die terminologischen Begriffe abbilden, werden diese Falle nicht 
gefunden oder/und falsch zugeordnet. 


Der StudyAdvisor des OpEN.SC-Projektes ist ein Werkzeug zur Unterstützung der 
Durchführung von Studien, welches eine Analyse der Datenqualität einschließt 
(s. Abb. 10). Neben dem Kritierum der Verwendung von Standandbegriffen, die 
die Interpretierbarkeit von Befunden beeinflussen, wurden Aktualität der Daten 
und zeitliche Häufigkeit von Untersuchungen (Timedistance aus der Dimension 
Timerelation) bestimmt. Das Tool integriert sich in die SOA des OpEN.SC-Sys- 
tems. Über eine Zwischenschicht Hibernate wird auf die OpEN.SC-Datenbank 
zugegriffen. Die Analyse selbst wird von verschiedenen Modulen ausgeführt 
(Patientenstammdatenanalyse, Diagnoseanalyse, Laboruntersuchungsanalyse). 
Die Analyse erfolgt via Zugriff auf die Ontologie zur Bild- und Datenqualität. 
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Im untersuchten Datenpool von ca. 10.000 Patienten und Patientinnen wur- 
den 90.000 ICD-Kodes in die entsprechenden Felder eingetragen. Demgegen- 
über stehen aber 110.000 diagnostische Bezeichner. In der weiteren Analyse 
wurden folgende Probleme gefunden: 


= In den ICD-Kodes wurden häufig Xxx.9 („nicht näher bezeichnet“) ge- 
funden, was eine ungenaue diagnostische Bezeichnung darstellt und 
die Interpretierbarkeit deutlich herabsetzt (siehe auch TMF-1007, TMF- 
1016, TMF-1025). Vor allem aber wird die Glaubwürdigkeit der Daten he- 
rabgesetzt, weil dieser Parameter darauf hindeutet, dass die Kodierqua- 
lität eingeschränkt ist. 
= Beispielsweise wurden bei einem Patienten neben der Hauptdiagnose 
einer chronischen Pyelonephritis folgende ICD-10 Kodes vergeben: 
J06.9 - Begriff des Standards: akute Infektion der oberen Atemwege, 
nicht näher bezeichnet. Bei diesem Patienten wurde stets ein „Infekt, 
grippal“ angegeben. 
T86.9 - Begriff des Standards: Versagen und Abstoßung/Rejektion 
eines nicht näher bezeichneten transplantierten Organes oder Gewe- 
bes. Hier wurden verschiedene Bezeichner angegeben: Transplanta- 
truputur, Rejektion oder Rejektion (Banff IIb). 
B18.2 - Begriff des Standards: Chronische Virushepatitis. Hierwurde 
immer „Hepatitis C, chronisch“ als nachvollziehbares Synonym an- 
gegeben. 


Für die Durchführung einer Studienrekrutierung sind einheitliche Bezeichner 
bzw. eindeutige Verschlüsselungen notwendig, um sicher potenzielle Kandi- 
daten und Kandidatinnen zu identifizieren. Auch bei der Musteranalyse führt 
die Verwendung einer Vielzahl von verschiedenen Begriffen dazu, dass keine 
lokalen Häufigkeiten und Zusammenhänge detektiert werden können. 


Data Quality Assessment Framework 


StudyAdvisor 
Webservice- 
Facade 
y | 
Patienten- 
Ontologie = property stammdaten- Diagnose-Analyse lalenan 
Retrieval Anaiyes suchungsanalyse 


Hibernate 


Abb. 10 Systemarchitektur des StudyAdvisors für die Analyse von Datenqualität 
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VI.4.5 Zusammenfassung und Ausblick 


Für die sekundäre Nutzung von klinischen Daten im Rahmen von Forschungs- 
registern ist die Darstellung der Datenqualität aus zwei Gründen sehr wichtig: 


1. Die Datenqualitätsparameter vermitteln den Nutzern einen Eindruck 
darüber, mit welchen Daten und in welcher Qualität sie rechnen kön- 
nen. Die Bewertung darüber, ob die Daten nützlich oder für eine be- 
stimmte Studie nicht geeignet sind, hängt sehr stark von der Aufgaben- 
stellung ab und muss den Nutzern überlassen werden. 

2. Für eine Reihe von Parametern lässt sich jedoch die Datenqualität un- 
abhängig von deren Nutzung bewerten. So lassen sich daraus Rück- 
schlüsse ziehen, an welchen Stellen Einfluss genommen werden kann. 
Dabei ist die Unterscheidung von Prozess-, Struktur- und Ergebnisquali- 
tät sehr wichtig. 


Die Verantwortung für Datenqualität lässt sich nicht immer nur auf den Er- 
zeuger der Daten beschränken. Einige Parameter werden in den anderen Pha- 
sen des Datenlebenszyklus beeinflusst. Mit der Leitlinie der TMF ist den Nut- 
zern wie Administratoren ein wichtiges Werkzeug in Hand gegeben worden, 
um Aussagen über die Datenqualität zu treffen. Für die Forschungsdaten-Re- 
positories und in den aktuellen Entwicklungen von Big Data, wo sehr große 
Datenmenten (im Terra-, Penta- und Exabyte-Bereich) gesammelt, analysiert 
und wieder verwendet werden sollen, muss davon ausgegangen werden, dass 
weitere Qualitätsparameter notwendig sind. 
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VII (Implementierungshilfen) 


Auf die Bereitstellung von Checklisten wird in Version 2.0 der Leitlinie ver- 
zichtet. Die Checklisten aus Version 1.0 stehen im PDF-Format unter www. 
tmf-ev.de/Leitlinie-Datenqualitaet zum Download zur Verfügung. 
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VIII Evaluation 


Zu der empfohlenen Vorgehensweise bei der Entwicklung von Leitlinien ge- 
hört deren Evaluation [AWMF/AZQ 2001]. Hierzu ist eine externe Evaluation 
der Leitlinie in Form einer prospektiven und kontrollierten Untersuchung er- 
strebenswert. Zielgröße ist hierbei die Datenqualität, bestimmt einerseits über 
die einzelnen Qualitätsindikatoren sowie andererseits über den Qualitätssco- 
re. Einzelne Berichte zur Anwendung der Leitlinie in Version 1.0 wurden ver- 
öffentlicht [Jacke et al. 2012a, Jacke et al. 2012b, Prokein et al. 2011]. Eine sys- 
tematische Evaluation der Leitlinie steht noch aus. 
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IX Gultigkeitsdauer 


Version 2.0 der Leitlinie wurde nach abschließender Diskussion und Konsen- 
tierung mit den Projektpartnern am 23. Marz 2014 fertig gestellt. Neben einer 
regelmäßigen Aktualisierung sind für die Weiterentwicklung drei Aufgaben 
relevant. Zum einen steht eine Evaluation im Rahmen einer empirischen 
Untersuchung noch aus, in deren Anschluss Überarbeitungsbedarf zu erwar- 
ten ist. Zum anderen sollte an eine Erweiterung auf andere empirische For- 
schungsvorhaben wie klinische Studien, weitere Datenbestände der For- 
schung wie Biomaterialbanken sowie Datenbestände der Versorgung gedacht 
werden. Letzteres ist dann sowohl für Aufgaben der Versorgung wie Qualitats- 
management, Projekte der Versorgungsforschung als auch für öffentliche Auf- 
gaben der Surveillance z.B. im Bereich der Arzneimittelsicherheit oder des 
Infektionsschutzes relevant. Auch das Stichwort „Big Data“ könnte dann auf- 
genommen werden. Zum dritten deutet sich methodisch eine Ausweitung der 
Indikatoren zur Qualität von Metadaten an. Hierbei kann an das Nationale 
Metadata Repository der TMF angedockt werden [Löbe et al. 2012]. 


Version: 2.0 

Erstellungsdatum: 23.3.2014 

Letzte Überarbeitung: 23.3.2014 

Überarbeitung geplant: Spätestens fünf Jahre nach Veröffentlichung. 


Verantwortlich für die Fortschreibung der Leitlinie ist die TMF. 
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XI Glossar 


Anforderung 


Ausreißer 


Ausschlusskriterien 


Data Repository 


Datenqualität 


Dublette 


Einschlusskriterien 
Endziffer 


Ergebnisqualität 


Fachliche Qualifikation 


Erfordernis oder Erwartung, das oder die festgelegt, üblicherweise vorausge- 
setzt oder verpflichtend ist. „Üblicherweise vorausgesetzt“ bedeutet, dass es 
für die Organisation, ihre Kunden und andere interessierte Parteien üblich 
oder allgemeine Praxis ist, dass das entsprechende Erfordernis oder die 
entsprechende Erwartung vorausgesetzt ist. Ein Bestimmungswort darf 
verwendet werden, um eine spezifische Anforderungsart zu bezeichnen, z.B. 
Qualitätsanforderung. (GMDS-AG Qualitätsmanagement in der Medizin 2003] 


Wert eines Datenelements, der nicht den Erwartungen entspricht, d.h. 
außerhalb des Intervalls der erwarteten oder plausiblen Werte liegt. 


Menge von Eigenschaften eines Patienten/einer Person, die seine/ihre 
Aufnahme in das Register nicht erlauben. Das Vorhandensein von mindes- 
tens einer Eigenschaft verbietet die Aufnahme des Patienten/der Person in 
das Register (z.B. Alter < 18 Jahre). 


Ein Dienst, der Daten aus unterschiedlichen Quellen für Forschungszwecke 
zugänglich macht. 


Grad, in dem eine Menge von Daten Anforderungen erfüllt. 


Zwei oder mehr Informationseinheiten, die dasselbe Subjekt oder Objekt 
beschreiben und bei denen die Identität nachgewiesen werden kann oder - 
sofern der Nachweis nicht möglich ist - mit hinreichender Wahrscheinlich- 
keit angenommen werden kann. 


Menge von Eigenschaften eines Patienten/einer Person, die alle gleichzeitig 
vorhanden sein müssen, damit der er/sie in das Register aufgenommen 
werden kann (z.B. Vorliegen einer bestimmten Erkrankung). 


Die am weitesten rechts stehende Ziffer eines Wertes. Dabei spielt die 
Stellung des Kommas keine Rolle (z.B. die Werte „10,43“ und „213“ besitzen 
die Endziffer „3“; der Wert „213,0“ besitzt die Endziffer „o“). 


Grad, in dem ein Satz inhärenter Merkmale der Struktur Anforderungen 
erfüllt. (GMDS-AG Qualitätsmanagement in der Medizin 2003) 


Alle für die Erhebung und Erfassung der Registerdaten notwendige Kennt- 
nisse und Fertigkeiten. Diese umfassen mindestens die detaillierte Kenntnis 
aller Datenelemente des Registers und der Regeln zu ihrer Abstraktion 
sowie der für die Datenerfassung eingesetzten EDV-Systeme. 
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Das Ausmaß, in dem die Registerdaten der Wahrheit entsprechen. [Arts 
et al. 20024] 


Eine unter Berücksichtigung von Datenqualitätsaspekten und beabsichtigter 
Datennutzung als ausreichend angesehene Wahrscheinlichkeit. 


Mit einem Wort sind zwei unterschiedliche Definitionen verbunden. Im 
Zusammenhang mit Registern wird ein Patientenidentifikator als Homonym 
bezeichnet, wenn er mehr als einem Patienten/einer Person zugewiesen 
wurde. 


Gruppe von Personen, die über eine bestimmte Zeit verfolgt werden, z.B. in 
einer Kohortenstudie [Porta 2008]. Die Bezeichnungen Kohorte und Kohor- 
tenstudie werden in der Leitlinie synonym benutzt. 


Die Übereinstimmung des Wertes eines Datenelements mit einer Referenz- 
quelle (z.B. Patientenakte, CRF). 


Vorhandensein einer statistischen Beziehung zwischen zwei oder mehr 
quantitativen Datenelementen. 


Daten über Daten [Berners-Lee 1997]. Im Zusammenhang mit Registern und 
Kohortenstudien sind hier die Angaben über vorhabensspezifische Charakte- 
ristika gemeint. 


Die Daten, aus denen die Registerdaten extrahiert wurden. Die Original- 
daten können in Papierform oder als elektronische Dokumente existieren. 


Grad, in dem ein Satz inhärenter Merkmale der Prozesse Anforderungen 
erfüllt. [GMDS-AG Qualitätsmanagement in der Medizin 2003] 


Grad, in dem ein Satz inhärenter Merkmale Anforderungen erfüllt. [GMDS- 
AG Qualitätsmanagement in der Medizin 2003] 


Ein Datenelement, das nur eine endliche Zahl qualitativer Werte annehmen 
kann, d.h. Werte, die sich nicht quantifizieren lassen (z.B. nach ICD-10 ko- 
dierte Diagnose). 


Tätigkeit zur Ermittlung der Eignung, Angemessenheit und Wirksamkeit der 
Betrachtungseinheit, festgelegte Qualitätsziele zu erreichen. [GMDS-AG 
Qualitätsmanagement in der Medizin 2003] 


Ein Indikator ist ein quantitatives Maß, welches zum Monitoring und zur 
Bewertung der Qualität wichtiger Leitungs-, Management-, klinischer 

und unterstützender Funktionen genutzt werden kann, die sich auf das 
Behandlungsergebnis beim Patienten auswirken. Ein Indikator ist kein 
direktes Maß der Qualität. Er ist mehr ein Werkzeug, das zur Leistungs- 
bewertung benutzt werden kann, das Aufmerksamkeit auf potenzielle 
Problembereiche lenken kann, die einer intensiven Überprüfung innerhalb 
einer Organisation bedürfen könnten. [GMDS-AG Qualitätsmanagement 

in der Medizin 2003] 


Siehe Qualitätslenkung. 


Teil des Qualitätsmanagements, der auf die Erfüllung von Qualitätsanforde- 
rungen gerichtet ist. [GMDS-AG Qualitätsmanagement in der Medizin 2003] 
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Qualitätsmanagement 


Qualitätsmerkmal 


Qualitätsplanung 


Qualitätssicherung 


Qualitätsverbesserung 


Qualitätsziele 


Qualitätszirkel 
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Rekrutierung 


Repräsentativität 


Score 


Stetiges Datenelement 


Strukturqualität 
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Aufeinander abgestimmte Tatigkeiten zum Leiten und Lenken einer Organi- 
sation bezüglich Qualität. Dazu gehören üblicherweise das Festlegen der 

Qualitätspolitik und der Qualitätsziele, die Qualitätsplanung, die Qualitäts- 
lenkung, die Qualitätssicherung und die Qualitätsverbesserung. [GMDS-AG 
Qualitätsmanagement in der Medizin 2003] 


Inhärentes Merkmal eines Produkts, Prozesses oder Systems, das sich 
auf eine Anforderung bezieht. [GMDS-AG Qualitätsmanagement in der 
Medizin 2003] 


Teil des Qualitätsmanagements, der auf das Festlegen der Qualitätsziele 
und der notwendigen Ausführungsprozesse sowie der zugehörigen Ressour- 
cen zur Erfüllung der Qualitätsziele gerichtet ist. [GMDS-AG Qualitätsma- 
nagement in der Medizin 2003] 


Teil des Qualitätsmanagements, der auf das Erzeugen von Vertrauen darauf 
gerichtet ist, dass Qualitätsanforderungen erfüllt werden. [GMDS-AG Quali- 
tätsmanagement in der Medizin 2003] 


Teil des Qualitätsmanagements, der auf die Erhöhung der Fähigkeit zur 
Erfüllung der Qualitätsanforderungen gerichtet ist. [GMDS-AG Qualitätsma- 
nagement in der Medizin 2003] 


Etwas bezüglich Qualität Angestrebtes oder zu Erreichendes. [GMDS-AG 
Qualitätsmanagement in der Medizin 2003] 


Ein Qualitätszirkel ist eine kleine institutionalisierte Gruppe von fünf bis 
zwölf Mitarbeitern, die regelmäßig zusammentreffen, um in ihrem Arbeits- 
bereich auftretende Probleme freiwillig und selbstständig zu bearbeiten. 
[GMDS-AG Qualitätsmanagement in der Medizin 2003] 


Ein Register ist eine möglichst aktive, standardisierte Dokumentation von 
Beobachtungseinheiten zu vorab festgelegten, aber im Zeitverlauf erweiter- 
baren Fragestellungen, für die ein präziser Bezug zur Zielpopulation trans- 
parent darstellbar ist. [Müller et al. 2010] 


Aufnahme von Patienten/Personen, die die Einschluss- und Ausschluss- 
kriterien erfüllen, in ein Register. 


Die im Register erfasste Population ist eine Stichprobe der zu untersuchen- 
den Gesamtpopulation, die in wesentlichen Einflussgrößen mit der Gesamt- 
population weitgehend übereinstimmt. 


Messvorschrift für ein Merkmal, die aus einer genau operationalisierten 
Zusammenfassung von mehreren (i.d.R. mehr als zwei) Komponenten 
besteht und zu einer mindestens ordinalen Bewertung führt. 


Ein Datenelement, das in einem bestimmten Bereich jeden Zwischenwert 
annehmen kann (z.B. Blutdruck). 


Grad, in dem ein Satz inhärenter Merkmale des Ergebnisses Anforderungen 
erfüllt. [GMDS-AG Qualitätsmanagement in der Medizin 2003] 


Ein oder mehrere Dokumente, die alle wesentlichen Aspekte eines Registers 
oder einer Kohortenstudie beschreiben (z.B. Einschluss- und Ausschlusskrite- 
rien für Fälle, Meldezeiträume, Zeitintervalle für Untersuchungen, Untersu- 
chungs- und Analysemethoden) 
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Lexikalisches Zeichen, das die gleiche Bedeutung wie ein anderes lexikali- 
sches Zeichen hat. Im Zusammenhang mit Registern werden Patienteniden- 
tifikatoren als Synonyme bezeichnet, wenn sie sich lexikalisch unterscheiden 
aber demselben Patienten/derselben Person zugewiesen wurden. 


Hier das Ausmaß, in dem die notwendigen Daten, die in das Register einge- 
hen könnten, auch tatsächlich eingegangen sind. [Arts et al. 2002a] 


Ein bezogen auf den aktuellen Wert zu einem früheren Zeitpunkt erhobener 
Wert desselben Datenelements. 


Aus der Sicht des Datenmanagements die vorzeitige Beendigung der Daten- 
sammlung für einen Patienten/eine Person im Register. Dies kann dadurch 
geschehen, dass er/sie seine Einwilligung zur Teilnahme am Register zurück- 
zieht oder der Kontakt zwischen Zentrum und Patient/Person abbricht 
(lost-to-follow-up). 
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Prevention of Mother-To-Child Transmission 
Pediatric Oncology Group 

Pneumonia Severity Index 

Quality Control 

Quality Function Deployment 

Quality Data Exchange 

Quality Improvement 


Qualitatsindikator 
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QS 
QTR 
RAND 
RCA 
RDE 
RECIST 
RPZ 
RR 
SAE 
SAPS 
SAS 
SDTM 
SDV 
SGB 
SHIP 
SNOMED 
SOA 
SOP 
SPSS 
SQL 
TDWI 
TMF 
TPFN 
TOM 
UK 
UML 
USA 
UTI 
VdAK 
vD 
WHO 
ws 
XML 


Qualitätssicherung 

Queensland Trauma Registry 

RAND Corporation, Kalifornien 

Root Cause Analysis 

Remote Data Entry 

Response Evaluation Criteria in Solid Tumors 
Risikoprioritätszahl 

Relatives Risiko 

Serious Adverse Event (schwerwiegendes unerwünschtes Ereignis) 
Simplified Acute Physiology Score 

Statistical Analysis System 

Study Data Tabulation Model 

Source Data Verification 

Sozialgesetzbuch 

Study of Health in Pomerania 

Systematized Nomenclature of Human and Veterinary Medicine 
Serviceorientierte Architektur 

Standard Operating Procedure 

Statistical Package for the Social Sciences 

Structured Query Language 

The Data Warehouse Institute 

TMF - Technologie- und Methodenplattform für die vernetzte medizinische Forschung e.V. 
True Positive to False Negative Ratio 

Total Quality Management 

United Kingdom (Vereinigtes Königreich Großbritannien und Nordirland) 
Unified Modeling Language 

United States of America (Vereinigte Staaten von Amerika) 
Urinary Tract Infection 

Verband der Angestellten-Krankenkassen 

Verein Deutscher Ingenieure 

World Health Organization 

Whole Slide Images 

eXtensible Markup Language 
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Anhang 1 - Kurzbeschreibung der statistischen Tabellen 


Die statistischen Tabellen ermöglichen es, für häufige Konstellationen Konfi- 
denzintervalle und Fallzahlen nachzuschlagen. Teil A enthält 95%-Konfidenz- 
intervalle für Raten der Qualitätsindikatoren. Folgende Werte wurden hierbei 
für den Nenner (n) berücksichtigt: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 
17, 18, 19, 20, 30, 40, 50, 60, 70, 80, 90, 100, 120, 140, 160, 180, 200, 250, 300, 350, 
400, 450, 500, 550, 600, 650, 700, 750, 800, 850, 900, 950, 1.000, 2.000, 3.000, 
4.000, 5.000, 6.000, 7.000, 8.000, 9.000 und 10.000. Werte fiir den Zahler (m) 
wurden für alle n über die Raten zwischen o und 0,5 in Schritten von 0,01 er- 
mittelt. Aus Teil B lässt sich die adjustierte Fallzahl für die Source Data Verifi- 
cation ablesen. Für die Rate p wurden dort in Schritten von 0,01 alle Werte von 
0,01 bis 0,5 sowie als untere Grenze 0,0062 berücksichtigt, für die halbe Breite 
des 95%-Konfidenzintervalls (8) die Werte 0,01, 0,02, 0,03, 0,04 und 0,05. Für 
die Anzahl von Beobachtungseinheiten (N) wurden folgende Werte angesetzt: 
10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 120, 140, 160, 180, 200, 250, 300, 350, 400, 
450, 500, 550, 600, 650, 700, 750, 800, 850, 900, 950, 1.000, 2.000, 3.000, 4.000, 
5.000, 6.000, 7.000, 8.000, 9.000 und 10.000. Die sich ergebenden Werte für die 
adjustierte Fallzahl (n) wurden aufgerundet. 


Die statistischen Tabellen können bei derTMF-Geschäftsstelle angefordert wer- 
den bzw. stehen auf der Website der TMF zum Download bereit (info@tmf-ev.de/ 
www.tmf-ev.de/Produkte/Po20021). 
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Anhang 2 - Literatursichtung 2005 bis 2013 


23. Marz 2014 


1 Einleitung 


Für Version 1.0 der Leitlinie wurde eine umfassende Literatursichtung vorge- 
nommen. Diese umfasste thematisch neben der Datenqualität auch weitere 
relevante Themengebiete wie die Erstellung von Leitlinien, die Methologie 
von Qualitätsindikatoren sowie statistische und andere Methoden des Quali- 
tätsmanagements. Zur Quellensuche wurden Literaturdatenbanken, allge- 
meine Suchmaschinen sowie Homepages einschlägiger Institutionen verwen- 
det. Eingeschlossen wurden Quellen bis Frühjahr 2006. Die Zusammenfassung 
von Literatursichtung und Expertenbefragung bis 2005/2006 steht unter www. 
tmf-ev. de/Leitlinie-Datenqualitaet zum Download zur Verfügung. 


Die hier zusammengefasste Literatursichtung ergänzt die Arbeiten aus Ver- 
sion 1.0 der Leitlinie um den Zeitraum 2005 bis Anfang 2013. Hierbei wurde eine 
Konzentration auf die Kernthemen der Leitlinie vorgenommen. So wurde als 
Literaturdatenbank ausschließlich Medline genutzt sowie alleinig die Suchan- 
frage zur Recherche nach Erkenntnissen zu Indikatoren zur Datenqualitat, zum 
Orginaldatenabgleich sowie zum Feedback zur Datenqualitat eingesetzt. Ziel 
war es, bei diesen Kernthemen dem Vorgehen der Literaturrecherche in Ver- 
sion 1.0 der Leitlinie zu entsprechen. In Version 2.0 hat sich allerdings die Be- 
ziehung zwischen Literatursichtung und Empfehlungen geändert. Diese ste- 
hen nun komplementär zueinander. Die Weiterentwicklung der Empfehlun- 
gen setzt im Wesentlichen die Ergebnisse aus dem vorangehenden Projekt mit 
Ergänzung von Qualitatsindikatoren um (s. Einleitung). Die Literatursichtung 
wurde parallel mit der Einarbeitung dieser Ergebnisse vorgenommen. Die Wei- 
terentwicklung spiegelt daher nicht zwingend die bestmögliche Evidenz aus 
der hier dargestellten Literatursichtung wider, sondern die Erkenntnisse des 
vorangehenden Projektes. Dennoch wurde auf einen Abgleich geachtet, aller- 
dings ohne neue Qualitätsindikatoren aufzunehmen, Qualitätsindikatoren zu 
verwerfen oder Qualitätsindikatoren in ihrer Kernaussage zu verändern. 


2 Literaturrecherche 


2.1 Einführung 


Recherchiert wurde am 6. März 2013 in der Literaturdatenbank Medline über 
das Portal PubMed (http: //www.pubmed.org/). Damit ist prinzipiell Literatur 
seit 1946 eingeschlossen. Die Suche wurde eingeschränkt auf Treffer seit dem 
1.1.2005. Bei der Verwendung von „related citations“ wurden Einträge vor 2005 
manuell entfernt. 
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2.2 Suchanfragen 


data quality[Title] AND ("2005/01/01" [Date - Publication] : "3000" [Date - Pu- 
blication]), 284 Treffer 


"registries"[TIAB] NOT Medline[SB] OR "registries"[MeSH Terms] OR registry[- 
Text Word] AND "data quality"[All Fields] AND "2005/01/01"[Date - Publica- 
tion] : "3000" [Date - Publication], 191 Treffer 


(("registries"[TIAB] NOT Medline[SB]) OR "registries"[MeSH Terms] OR regis- 
try[Text Word]) AND ("quality assessment" [All Fields] OR "quality control" [All 
Fields]) AND "2005/01/01" [Date - Publication] : "3000"[Date - Publication], 
338 Treffer 


cohort[All Fields] AND ("quality assessment" [All Fields] OR "quality control" [All 
Fields]) AND "2005/01/01"[Date - Publication] : "3000"[Date - Publication], 
534 Treffer 


Related citations zu Gissler M, Teperi J, Hemminki E, Merilainen J. Data qua- 
lity after restructuring a national medical registry. Scand | Soc Med. 1995 
Mar;23(1):75-80. PMID: 7784857 [PubMed - indexed for MEDLINE], 34 Treffer 


Related citations zu Welzer T, Brumen B, Golob |, Sanchez JL, Druzovec M. 
Diagnostic process from the data quality point of view. | Med Syst. 2005 
Feb;29(1):59-63. PMID: 15839332 [PubMed - indexed for MEDLINE], 84 Treffer 


Related citations zu Crerand WJ, Lamb J, Rulon V, Karal B, Mardekian J. Building 
data quality into clinical trials. | AHIMA. 2002 Nov-Dec;73(10):44-6, 48-53, 2; 
quiz 55-6. PMID: 12432815 [PubMed - indexed for MEDLINE], 84 Treffer 


Related citations zu Brown P|, Warmington V. Data quality probes-exploiting 
and improving the quality of electronic patient record data and patient care. 
Int J Med Inform. 2002 Dec 18;68(1-3):91-8. PMID: 12467794 [PubMed - inde- 
xed for MEDLINE], 93 Treffer 


("fraud"[MeSH Terms] OR "fraud" [Text Word]) AND ("clinical trial" [Publication 
Type] OR " clinical trials as topic"[MeSH Terms] OR " clinical trial"[Text Word]) 
AND "2005/01/01" [Date - Publication] : "3000" [Date - Publication], 61 Treffer 


"data collection"[MeSH Terms] AND "medical registry" [All Fields] AND 
"2005/01/01" [Date - Publication] :"3000"[Date - Publication], 14 Treffer 


"data accuracy"[All Fields] AND "2005/01/01"[Date - Publication] : 
"3000"[Date - Publication], 148 Treffer 


Arts D[Author] AND "2005/01/01"[Date - Publication] : "3000"[Date - Publi- 
cation], 9 Treffer 


Knatterud GL[Author] AND "2005/01/01"[Date - Publication] : "3000"[Date - 
Publication], 8 Treffer 
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Ollenschlager G[Author] AND "2005/01/01" [Date - Publication] : "3000" [Date - 
Publication], 37 Treffer 


"source data verification" [All Fields] AND "2005/01/01"[Date - Publication] : 
"3000"[Date - Publication], 16 Treffer 


"feedback"[MeSH Terms] AND ("medical registry"[All Fields] OR "cohort" [All 
Fields]) AND "2005/01/01"[Date - Publication] : "3000"[Date - Publication], 
132 Treffer 


2.3 Literaturauswahl 


Um doppelte Literaturstellen bereinigt ergab die Recherche 1916 Treffer. Ab- 
bildung 11 zeigt das Vorgehen und die Ergebnisse der Literaturauswahl in der 
Übersicht. Für eine Aufnahme in die Leitlinie wurde inhaltlich eine Ausein- 
andersetzung mit Indikatoren von Datenqualität, mit einem Originaldaten- 
abgleich oder mit einem Feedback von Datenqualität an Erhebungszentren 
gefordert. Eine reine Anwendung dieser Aspekte war für einen Einschluss 
nicht ausreichend. Als Bewertungskategorien standen „zutreffend“, „nicht 
zutreffend“ und „unklar“ zur Verfügung. 


Zur Entwicklung eines gemeinsamen Verständnisses über diese Bewertungs- 
kriterien wurde initial eine Teilmenge von 100 der 1.916 Literaturstellen an 
Hand der Abstracts durch alle drei Autoren gesichtet. Abweichungen wurden 
gemeinsam besprochen und eine Entscheidung zuerst nach Majorität und bei 
kompletter Abweichung im Konsens getroffen. Von den verbleibenden 1.816 Li- 
teraturstellen wurden 100 verblindet zur Reliabilitätsprüfung durch alle drei 
Autoren und 1.716 von jeweils einem Autor gesichtet. Bei der Stichprobe zur 
Reliabilitätsprüfung wurde die Entscheidung wieder zuerst nach Majorität 
und bei kompletter Abweichung im Konsens getroffen. Unklarheiten bei den 
nur durch einen Autor gesichteten Literaturstellen wurden im Konsens auf- 
gelöst. Volltexte wurden von denjenigen Literaturstellen beschafft, die mit 
zutreffend oder unklar bewertet waren. Als Reliabilitätsmaß wurde das Kappa 
nach Siegel/Castellan (1988) mit dem Script MKAPPASC.SPS mit IBM SPSS Sta- 
tistics 21 berechnet. Kappa lag in der ersten Stichprobe bei 0,42 und in der 
zweiten bei 0,39. Nach Landis/Koch (1977) entspricht dies einer moderaten 
bzw. ordentlichen Übereinstimmung. 


Nach Ausschluss von 3 Literaturstellen mit einer anderen Sprache als Deutsch 
oder Englisch wurden die verbleibenden 107 Literaturstellen an Hand der Voll- 
texte in weiteres Mal bewertet. Es kamen die gleichen Bewertungskategorien 
zum Einsatz. Zusätzlich war bei einer Bewertung mit „zutreffend“ der zur posi- 
tiven Bewertung führende inhaltliche Aspekt anzugeben. Die 107 Literaturstel- 
len wurden von JS komplett sowie mit einer Aufteilung von 53 und 54 Literatur- 
stellen von DN und MN gesichtet. Abweichungen wurden bilateral aufgelöst 
und eine definitive Entscheidung über den Einschluss in die Leitlinie getroffen. 
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Als Ergebnis der Literaturauswahl werden 39 Literaturstellen ausführlich in 
der Leitlinie dargestellt. 


gefunden in Medline: 

(n = 1916) | 

En nl 
Vorauswahl durch 


Abstract > ausgeschlossen 
| 
4 


(n= 1916) (n = 1806) 


4 


Auswahl durch Sprache | ausgeschlossen 
(n = 110) (n=3) 


5) J 


4 


Volltext auf Eignung | usoeschlosen 
beurteilt — g 


(n =107) | (n = 67) 
y 


Ausschluss Projektbericht | ausgeschlossen 
(n = 40) | (n=1) 
J J J 
Literaturstellen 


eingeschlossen in 
Literaturbeschreibung 


(n=39) j 


Abb. 11 Vorgehen und Ergebnisse der Literaturauswahl, dargestellt gemäß dem PRISMA- 
Statement (Ziegler et al. 2011) 


3 Ergebnisse 


3.1 Struktur 


Die Beschreibungen wurden durch die Autoren DN und MN verfasst. Die Dar- 
stellung erfolgt strukturiert mit folgenden Rubriken: 


1. Art des wissenschaftlichen Vorhabens: <Analyse von Datenqualitat| 
Intervention zur Verbesserung der Datenqualitat|Health Technology As- 
sessment (Nutzenbewertung von Datenqualitat)|systematisches Review| 
Konzeptvorstellung> 

2. Herkunft der Autoren: Land 

3. Bezug zum Thema: <Qualitatsindikatoren|Feedback|SDV>, Mehrfach- 
angabe méglich 
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4. Ort und Art der Intervention: Angabe nur bei Interventionsstudien oder 
einem HTA 

5. Datenbestand 

6. Qualitätsindikatoren: Benennung nach den Autoren 

7. Schlussfolgerungen der Autoren: Darstellung der von den Autoren der 
Literaturstelle selbst gezogenen Schlussfolgerungen. 

8. Zusammenfassung der Publikation 

9. Kommentar 


3.2 Übersetzung englischer Bezeichnungen 


Englische Bezeichnungen für qualitätsrelevante Aspekte wurden wie folgt 
übersetzt: Aktualität (currency), angemessenes Datenvolumen (appropriate 
amount of data), Brauchbarkeit (usefulness of data items), Definition (defi- 
nition), Duplizität (prevention of duplicates), Empfindlichkeit (responsiveness 
of data items), Erreichbarkeit (accessibility), Genauigkeit (accuracy), Genera- 
lisierbarkeit (generalizability), Glaubwürdigkeit (believability), Granularität 
(granularity), Inkonsistenz (inconsistency), Konkordanz (concordance), Kon- 
textannotation (contextualization), Korrektheit (correctness), Objektivität 
(objectivity), Plausibilität (plausibility), politische Relevanz (policy relevance), 
Präzision (precision), räumliche Stabilität (spatial stability), Rekrutierungs- 
rate (rate ofenrolment), Relevanz (relevancy), Übereinstimmung (agreement), 
Unrichtigkeit (incorrectness), Unvollständigkeit (incompleteness), Validität 
(validity), Verfügbarkeit (availability), Vergleichbarkeit (comparability), Voll- 
ständigkeit (comprehensiveness), Vollzähligkeit (completeness), Vorhersage- 
wert (predictive value), Widerspruchsfreiheit (consistency), Zeitnähe (timeli- 
ness), Zuverlässigkeit (reliability). 


3.3 Übersicht 


Tabelle 14 zeigt die 39 Literaturstellen mit den Angaben zu den Rubriken ı bis 
3und6inder Übersicht. Der Kurzverweis in Tabelle 14 sowie die Überschriften 
in Kapitel 3.4 dieses Anhangs entsprechen der Notation im Literaturverzeich- 
nis. Dort sind auch die Literaturstellen aufgeführt. 


Tab. 14 Ausgewählte Eigenschaften der Literaturstellen 


Literaturstelle Art Herkunft Qualitätsindikatoren 

Baigent et al. 2008 Konzept UK QI, SDV nicht anwendbar 

Berner et al. 2005 HTA USA QI Genauigkeit, Vollständigkeit 

Botsis et al. 2010 Analyse Norwegen, QI, SDV Inkonsistenz, Unrichtigkeit, 
USA Unvollständigkeit 
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Literaturstelle Art Herkunft Bezug Qualitätsindikatoren 

Bray/Parkin 2009 Review Norwegen Ql Aktualitat, Validitat, Vergleich- 
barkeit 

Brender et al. 2008 Analyse USA SDV Ubereinstimmung 

Bronnert et al. 2012 Konzept USA Ql Aktualitat, Definition, 


Erreichbarkeit, Genauigkeit, 
Granularität, Präzision, 
Relevanz, Vollständigkeit, 
Widerspruchsfreiheit, Zeitnähe 


Brower et al. 2006 Review Niederlande Feedback, Korrektheit, Vollständigkeit 
QI 

Chiba et al. 2012 Analyse Japan QI Genauigkeit, Relevanz, 
Vollständigkeit 

Choquet et al. 2010 Konzept Frankreich QI nicht anwendbar 

Couchoud et al. 2013 Konzept Frankreich QI Aktualität, Brauchbarkeit, 
Duplizität, Empfindlichkeit, 
Genauigkeit, Validität, 
Vergleichbarkeit, Vollständig- 
keit, Vollzähligkeit 

De 2011 Konzept Indien SDV nicht anwendbar 

Duda et al. 2012 Analyse USA SDV Korrektheit, Vollständigkeit 

Dyck et al. 2007 Konzept USA QI Validität, Vollständigkeit, 


Zuverlässigkeit 


França et al. 2008 Analyse Brasilien QI Generalisierbarkeit, Korrekt- 
heit, politische Relevanz, 
Zuverlässigkeit 


Kahn et al. 2012 Konzept USA QI angemessenes Datenvolumen, 
Glaubwürdigkeit, Korrektheit, 
Objektivität, Zeitnähe 

Krzych et al. 2011 Analyse UK, Polen Ql Aktualitat, Rekrutierungsrate, 
Vollstandigkeit 

Larsen et al. 2009 Analyse Norwegen Ql Aktualitat, Korrektheit, 
Vergleichbarkeit, Vollstandig- 
keit 

Loane et al. 2011 Konzept UK Ql Korrektheit, Zeitnähe, 
Verfügbarkeit, Vollständigkeit, 
Vollzähligkeit 

Macefield et al. 2013 Review UK SDV nicht anwendbar 

Maruszewski et al. 2005 Analyse Multinational QI, SDV Genauigkeit, Vollstandigkeit 

McKenzie et al. 2005 Analyse Australien Ql Konkordanz 

Messenger et al. 2012 Analyse USA Feedback, Korrektheit, Vollstandigkeit, 


QI, SDV Widerspruchsfreiheit 
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Literaturstelle 


Mphatswe et al. 2012 


Nahm et al. 2008 


Sáez et al. 2012 


Salati et al. 2011 


Shabestari/Roudsari 2013 


Sigurdardottir et al. 2012 


Stevens et al. 2008 
Taggart et al. 2012 


Thoburn et al. 2007 
Tolonen et al. 2006 
Tuble 2011 

Tudur Smith et al. 2012 
Venet et al. 2012 
Verhulst et al. 2012 
Weiskopf/Weng 2013 


Wu et al. 2008 


Xian et al. 2012 


Inter- 
vention 


Inter- 
vention 


Konzept 


Konzept 


Konzept 


Analyse 


Analyse 
Analyse 


Analyse 
Konzept 
Analyse 
HTA 

Konzept 
Analyse 


Review 


Konzept 


Analyse 


Herkunft 
Südafrika 


USA 


Spanien 


Italien 


Kanada 


Island 


Neuseeland 


Australien 


USA 
Finnland 
Australien 
UK 

Belgien 
Niederlande 
USA 


USA 


USA 


Feedback, 
QI, SDV 
SDV 


QI 


QI 


QI 


QI, SDV 
QI 


Feedback, 
QI 


QI 


Qualitätsindikatoren 


Genauigkeit, Vollständigkeit 


nicht anwendbar 


Duplizität, Kontextannotation, 
Korrektheit, räumliche 
Stabilität Vollständigkeit, 
Vorhersagewert, Widerspruchs- 
freiheit, Zeitnähe, Zuverlässig- 
keit 


Glaubwürdigkeit, Korrektheit/ 
Genauigkeit, Vollständigkeit, 
Widerspruchsfreiheit 


Konkordanz, Korrektheit, 
Plausibilität, Vollständigkeit, 
Zeitnähe 


Aktualität, Validität, Vollzählig- 
keit 


Genauigkeit, Vollständigkeit 


Korrektheit, Vollständigkeit, 
Widerspruchsfreiheit 


Korrektheit, Vollständigkeit 
nicht anwendbar 
Genauigkeit, Vollständigkeit 
nicht anwendbar 

nicht anwendbar 
Korrektheit 


Konkordanz, Korrektheit, 
Plausibilität, Vollständigkeit, 
Zeitnähe 


Rekrutierungsrate, Vollzählig- 
keit 


Genauigkeit, Zuverlässigkeit. 


HTA = Health Technology Assessment, QI = Qualitätsindikatoren, SDV = Source Data Verification 
(Originaldatenabgleich), UK = United Kingdom (Vereinigtes Königreich Großbritannien und 
Nordirland), USA = United States of America (Vereinigte Staaten von Amerika) 
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3.4 Literaturstellen 


Baigent et al. 2008 


1 
2 
3 
4 
5 
6 
7 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: Vereinigtes Königreich 

Bezug zum Thema: Qualitätsindikatoren, SDV 

Ort und Art der Intervention: nicht anwendbar 
Datenbestand: nicht anwendbar 

Qualitätsindikatoren: nicht anwendbar 


. Schlussfolgerungen der Autoren 


Die Qualitätssicherung in Studien muss nicht mit einem intensiven Vor- 
Ort-Monitoring verbunden sein. Eine Risikoabschätzung bezüglich mög- 
licher Fehler sollte die Basis für die Entwicklung eines optimalen Moni- 
toringplans bilden. So lassen sich die vorhandenen Ressourcen bestmög- 
lich nutzen. 

Zusammenfassung der Publikation 

Der Artikel fasst die Diskussionen zusammen, die im Jahre 2007 aufdem 
Sensible Guidelines Workshop in den USA geführt wurden. Es geht um 
die Frage, wie verschiedene Arten des Monitorings bei randomisierten 
Studien die Datenqualität verbessern können. In randomisierten Studien 
sind vier verschiedene Arten von Fehlern möglich: Fehler im Studien- 
design (z.B. ungenügende Fallzahl), fehlerhafte Durchführung der Stu- 
die (z.B. Abweichung vom Studienprotokoll), fehlerhafte Daten (zufällig 
oder durch Betrug entstanden) sowie Fehler bei der statistischen Ana- 
lyse der Studiendaten und der Interpretation der Studienergebnisse. Dem 
stehen verschiedene Formen des Monitorings gegenüber: Kontrolle 
durch ein Datenmonitoring-Komitee als Teil eines Studienkommittees, 
zentrales Monitoring durch die Datenmanagementzentrale und ein Vor- 
Ort-Monitoring in den einzelnen Studienzentren. Die Autoren ordnen 
diese Formen den Fehlerarten zu, für deren Entdeckung sie nach Mei- 
nung der Autoren besonders geeignet sind. Das zentrale Monitoring er- 
laubt die Betrachtung von Qualitätsindikatoren (z.B. zeitlicher Verzug 
bei der Datenerfassung). Die Autoren schlagen vor, für randomisierte 
Studien jeweils eine Risikoanalyse bezüglich der o.g. Fehlerarten durch- 
zuführen und einen dazu passenden Monitoringplan zu entwerfen. 


. Kommentar 


Die Autoren postulieren, ähnlich wie es die vorliegende Leitlinie tut, 
eine Ausrichtung des Monitorings auf eine möglichst effiziente Nutzung 
der vorhandenen Ressourcen. 


Berner et al. 2005 


1, 
2. 


Art des wissenschaftlichen Vorhabens: Health Technology Assessment 
Herkunft der Autoren: USA 
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Anhänge 


. Bezug zum Thema: Qualitätsindikatoren 

. Ort und Art der Intervention: Untersuchung von Genauigkeit und Voll- 
ständigkeit bei der Erfassung von Patienteninformationen in niederge- 
lassenen Arztpraxen und deren Auswirkung auf Clinical Decision Sup- 
port Systems (CDSS). 

. Datenbestand: 178 Patientenakten simulierter Patienten. 

. Qualitätsindikatoren: Genauigkeit, Vollständigkeit 

. Schlussfolgerungen der Autoren 
Clinical Decision Support Systems (CDSS) können die Patientensicherheit 
im Gesundheitswesen durch Empfehlungen zu Verschreibungen von 
potenziell gefährlichen Medikamenten verbessern. Diese CDSS benötigen 
allerdings hochqualitative Daten. Die Studie zeigt, dass CDSS im Bereich 
der niedergelassenen Arztpraxen auf Grund mangelnder Datenvollstän- 
digkeit und Genauigkeit keine zuverlässigen Entscheidungen liefern. 

. Zusammenfassung der Publikation 
Vorhergehende Arbeiten haben gezeigt, dass sich die Verwendung von 
CDSS im stationären Umfeld positiv auf die Verringerung von Behand- 
lungsfehlern auswirken. Dies geschieht durch das Auslösen von Alarm- 
signalen bei fehlerhafter medizinischer Intervention basierend auf 
Daten der Patientenakte. In dieser Arbeit wird speziell auf die Auswir- 
kungen von Genauigkeit und Vollständigkeit der Daten medizinischer 
Akten auf ein CDSS, das eine Risikoabschätzung zu Magendarmblutun- 
gen bei der Verschreibung von Nonsteroidal Antiinflammatory Drugs 
(NSAIDs) liefert, eingegangen. Als Eingabedaten wurden Patientenakten 
von standardisierten Patienten verwendet. Die standardisierten Patien- 
ten wurden darauf trainiert, verschiedene Muskel-Skelett-Beschwerden 
vorzutragen. Dies sind Krankheiten, bei denen eine NSAID-Verschrei- 
bung sinnvoll ist. Zudem fällt jeder standardisierten Patient durch Fak- 
toren, die sich aus dem Alter oder der simulierten Krankengeschichte 
ergeben, in die Gruppe der Hochrisikopatienten für interne Blutungen 
des Magen-Darm-Traktes bei NSAID-Verschreibung. Bei korrekter Auf- 
nahme aller Risikofaktoren und Übermittlung der Daten an das CDSS 
würde ein Alarm, der vor einer NSAID-Verabreichung warnt, ausgelöst 
werden. Die standardisierten Patienten wurden zu 60 niedergelassenen 
Ärzten geschickt und in einem Aufnahmegespräch befragt. Die diesbe- 
züglichen Aufzeichnungen wurden von den Arztpraxen an das Studien- 
team weitergeleitet und insgesamt 178 Patientenakten anhand der in 
den Aufzeichnungen enthaltenen Informationen erstellt. Dabei erfolgte 
eine Überprüfung, ob zu den Risikofaktoren Informationen vorhanden 
waren und falls ja, ob diese auch korrekt ermittelt wurden. Hierdurch 
konnten Genauigkeit und Vollständigkeit der resultierenden Patienten- 
akten abgeleitet werden. Lediglich 30-40% aller Risikofaktoren wurden 
aufgedeckt. Die erfassten Daten waren mit 91-96% jedoch weitestgehend 
korrekt. Das CDSS erkannte aufgrund der Datenmängel einen Hochrisi- 
kopatienten nur zu 22,5%. 
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. Kommentar 
Die Publikation verdeutlicht, wie sich Probleme der Datenqualitat un- 
mittelbar negativ auf den Patienten auswirken können. Im gegebenen 
Beispiel wurden 77,5% der simulierten Hochrisikopatienten durch das 
CDSS nicht erkannt. Eine Verschreibung von NSAID hätte also in mehr 
als drei Viertel aller Fälle mit hoher Wahrscheinlichkeit zu unerwünsch- 
ten Nebenwirkungen geführt. 


Botsis et al. 2010 


1 
2 
3 
4 
5 


ND 


. Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 
. Herkunft der Autoren: Norwegen, USA 
. Bezug zum Thema: Qualitatsindikatoren, SDV 
. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Elektronische Patientenakten, abgelegt im Klinischen 
Data Warehouse der Columbia Universität in New York; 3.068 Patienten 
mit Pankreas-Tumor im Zeitraum 1999 bis 2009. 
. Qualitätsindikatoren: Inkonsistenz, Unrichtigkeit, Unvollständigkeit 
. Schlussfolgerungen der Autoren 
Klinische Register und der Austausch von Gesundheitsdaten können die 
Datenqualität von elektronischen Patientenakten verbessern. Fortge- 
schrittene Datenvalidierungswerkzeuge sollten zur Verbesserung der 
Datenintegrität entwickelt werden. 
. Zusammenfassung der Publikation 
Die Autoren beschreiben verschiedene Datenqualitätsprobleme, auf die 
sie bei der Überlebenszeitanalyse von Patienten mit Pankreas-Tumor 
stießen. Aus den elektronischen Patientenakten, dieim Klinischen Data 
Warehouse der Columbia Universität in New York gespeichert sind, wur- 
den anhand des ICD-9-Kodes 3.068 Patienten mit Pankreas-Tumor im 
Zeitraum 1999 bis 2009 identifiziert. Für diese Patienten wurden zusätz- 
lich Informationen aus verschiedenen Datenelementen der elektroni- 
schen Patientenakte (z.B. Pathologie-Befunde, Radiologie-Berichte, La- 
borwerte) extrahiert. Zur Überprüfung der Datenqualität und Überein- 
stimmung zwischen verschiedenen Datenelementen wurden folgende 
Qualitätsindikatoren für einzelne Studienvariablen berechnet. 
Inkonsistenz: Diskrepanz zwischen verschiedenen oder innerhalb des 
gleichen Datenelements der elektronischen Patientenakte. 
Unrichtigkeit: unspezifische, nicht dem Standard folgende, falsche 
oder unpräzise Information. 
Unvollständigkeit: fehlende Information. 
Fehlende Informationen bei Schlüsselvariablen führten zum Ausschluss 
von 1.479 der 3.068 Patienten von der Analyse. Bei einzelnen Studienva- 
riablen erreichte die Unvollständigkeitsrate Werte oberhalb von 50%. 
Inkonsistenzen wurden sowohl zwischen verschiedenen Datenelemen- 
ten als auch innerhalb eines Datenelements (z.B. gleichzeitige Angabe 
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von Diabetes Typ 1 und Typ 2) gefunden. Diese Diskrepanzen ließen sich 
zum Teil durch redundante Datenerfassung erklären. Unrichtige Daten 
wurden häufig beobachtet (z.B. Benutzung unspezifischer Diagnose- 
Kodes, offensichtlich falsche Zeitangaben zur Therapie). 


. Kommentar 


Die Integration verschiedener Datenquellen verlangt nach adäquaten 
Maßnahmen zur Sicherstellung einer guten Datenqualität. Dies betrifft 
Kohorten und Register in besonderem Maße. 


Bray/Parkin 2009 


NnourwnH 


Art des wissenschaftlichen Vorhabens: systematisches Review 
Herkunft der Autoren: Norwegen 


. Bezug zum Thema: Qualitätsindikatoren 

. Ort und Art der Intervention: nicht anwendbar 

. Datenbestand: nicht anwendbar 

. Qualitätsindikatoren: Aktualität, Validität, Vergleichbarkeit 


Schlussfolgerungen der Autoren 

Die Vergleichbarkeit von Krebsregisterdaten kann durch einen umfas- 
senden Review des Registrierungsprozesses gefördert werden. Zur Be- 
urteilung der Validität stehen verschiedene Qualitätsindikatoren zur 
Verfügung. Für die Sicherstellung einer angemessen Aktualität von 
Krebsregisterdaten gibt es derzeit (2009) keine international verbindli- 
chen Guidelines. 


. Zusammenfassung der Publikation 


Dieser Artikelist der erste Teil eines zweiteiligen Reviews, der praktische 
Aspekte und Techniken der Datenqualität bei Krebsregistern behandelt. 
Er fokussiert auf drei Schlüsselaspekte: die Vergleichbarkeit, Validität 
und Aktualität von Krebsregisterdaten. Vergleichbarkeit ist hier defi- 
niert als das Ausmaß, in dem die Prozesse der Kodierung und Klassifi- 
zierung sowie die Regeln für die Erfassung und Auswertung spezifischer 
Kenngrößen international etablierten Standards (z.B. Guidelines) fol- 
gen. Für die Vergleichbarkeit spielen vier Aspekte eine wichtige Rolle: 

das für die Klassifikation und Kodierung von Tumoren benutzte Ko- 

diersystem, 

die Definition der Inzidenz, d.h. die Definition eines „Falles“ und sei- 

nes Startdatums, 

die Unterscheidung zwischen Primärfällen und sonstigen Fällen (z.B. 

Metastasen) sowie 

die Erfassung von Tumoren bei asymptomatischen Patienten. 
Validität bezeichnet den Anteil der Fälle in einem Register, die eine be- 
stimmte Eigenschaft definitiv besitzen, bezogen auf alle Fälle im Regis- 
ter, für die diese Eigenschaft (korrekt oder fälschlich) dokumentiert ist. 
Die Validität hängt ab von der Genauigkeit der benutzten Datenquellen 
und der Erfahrung beim Extrahieren und Kodieren von Informationen 
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und kann mit verschiedenen Indikatoren gemessen werden (z.B. Rate 
der DCO-Falle [,,death certificate only“]). 

Die Aktualitat von Krebsregisterdaten wird durch die Vollstandigkeit und 
Genauigkeiten der Daten beeinflusst. Informationen zu einer Krebs- 
erkrankung treffen haufig erst mit einem gewissen Zeitverzug nach Erst- 
diagnose im Register ein und beeinflussen somit auch die Vollstandig- 
keit der Daten. 


. Kommentar 


Die in dieser umfassenden Darstellung vorgestellten Methoden und Ver- 
fahren lassen sich teilweise auch ftir Register nutzen, die nichts mit 
Krebserkrankungen zu tun haben. 


Brender et al. 2008 


1 
2 
3 
4 
5 


ND 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 
Herkunft der Autoren: USA 

Bezug zum Thema: SDV 

Ort und Art der Intervention: nicht anwendbar 

Datenbestand: National Birth Defects Prevention Study (NBDPS) in den 
USA; daraus 649 Geburten in Texas im Zeitraum 1997-2000. 
Qualitatsindikatoren: Ubereinstimmung 

Schlussfolgerungen der Autoren 

Die Qualitat der elterlichen Berufsangaben in den Geburtszertifikaten 
schwankt sehr und schrankt damit die Verwendbarkeit dieser Informa- 
tion ein. 

Zusammenfassung der Publikation 

In den US-amerikanischen Geburtszertifikaten sollen nach einer Emp- 
fehlung des National Center for Health Statistics Angaben über die be- 
rufliche Situation der Eltern erfasst werden. Um die Qualität dieser An- 
gaben zu überprüfen, wurden die Angaben aus den Geburtszertifikaten 
mit Informationen aus Interviews mit den Müttern verglichen (Gold- 
standard). Zur Beurteilung der Übereinstimmung wurden Sensitivität, 
Spezifitätund die Kappa-Statistik berechnet. Die Übereinstimmung be- 
trug bei den Angaben zur Berufstätigkeit der Mutter 77% und für die Vä- 
ter 63%. Abhängig von der Berufsgruppe variierte die Sensitivität des 
Geburtszertifikats zwischen 35% und 100% und die Spezifität zwischen 
93% und 100%. Die Kappa-Statistik lag für Mütter höher als für Väter 
(0,59-0,94 VS. 0,47-0,92 in den verschiedenen Berufsgruppen). 


. Kommentar 


Dieser Artikel zeigt den Nutzen von SDV für die Verbesserung der Daten- 
qualität. 
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Bronnert et al. 2012 


au RWN HB 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: USA 


. Bezug zum Thema: Qualitatsindikatoren 

. Ort und Art der Intervention: nicht anwendbar 

. Datenbestand: nicht anwendbar 

. Qualitätsindikatoren: Aktualität, Definition, Erreichbarkeit, Genauig- 


keit, Granularität, Präzision, Relevanz, Vollständigkeit, Widerspruchs- 
freiheit, Zeitnähe 

Schlussfolgerungen der Autoren 

Mit zunehmenden Datenmengen in der Medizin nimmt auch die Rolle 
des Health Information Management (HIM) zu. Gutes Data Quality Ma- 
nagement (DQM) ist Voraussetzung für hohe Datenqualität und der da- 
rauf basierenden Datenanalyse. 


. Zusammenfassung der Publikation 


In dieser Arbeit, die ein Update zu einem bereits bestehenden DQM-Mo- 
dell darstellt, geben Bronnert et al. Empfehlungen zu einem gutem 
DQM. DQM ist das Wissen über die Qualität des jeweiligen Datenbe- 
standes sowie die kontinuierliche Verbesserung der Datenqualität in 
verschiedenen Bereichen. Die Beachtung der Datenqualität beginnt be- 
reits bei der Planung des Einsatzes von Electronic Health Records (EHRs). 
Es sollten feste Standards und akzeptierte Wertebereiche für die Daten- 
elemente verwendet werden. Bei manueller Datenerfassung sollte das 
Personal regelmäßig geschult werden. Datenerfassungssysteme sollten 
regelmäßig kontrolliert werden und vorab definierte Anforderungen 
erfüllen. Bei der Datenanalyse ist darauf zu achten, dass die Daten im 
richtigen Kontext verwendet werden und die erforderliche liegende 
Datenqualität gegeben ist. Bei einem Datawarehouse sollte bekannt 
sein, wann und wie Datenaktualisierungen bzw. eine Datenpflege 
durchgeführt werden. Verwendete Versionen von EHRs und anderen 
Anwendungen, die sich über die Zeit hinweg weiterentwickeln, sollten 
stets dokumentiert werden. Als wichtige Punkte werden zudem die si- 
chere Verwahrung der Daten und die Ermöglichung eines leichten und 
effektiven Datenzugangs genannt. Weiterhin präzisieren Bronnert 
etal. ihr DQM-Modell und bezeichnen Anwendung, Analyse, Erhebun- 
gund Verwahrung von Daten als die Domänen der Datenqualität. Als 
Charakteristiken nennen sie Aktualität, Definition, Erreichbarkeit, Ge- 
nauigkeit, Granularität, Präzision, Relevanz, Vollständigkeit, Wider- 
spruchsfreiheit und Zeitnähe. Die Begriffe werden in der Arbeit weiter- 
führend definiert. 


. Kommentar 


Die Ausführungen der Autoren sind schlüssig und beleuchten viele Pro- 
bleme im Umgang mit Datenqualität. Eine ungewöhnliche Strukturie- 
rung erschwert leider die Lesbarkeit. Da es sich bei dieser Arbeit unter 
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anderem um ein Update eines bereits bestehenden DQM-Modells aus 
dem Jahr 1998 handelt, sind zum besseren Verständnis Kenntnisse der 
Vorgängerversion notwendig. 


Brower et al. 2006 


NAW BWN HR 


Art des wissenschaftlichen Vorhabens: systematisches Review 


. Herkunft der Autoren: Niederlande 

. Bezugzum Thema: Feedback, Qualitätsindikatoren 
. Ort und Art der Intervention: nicht anwendbar 

. Datenbestand: nicht anwendbar 

. Qualitätsindikatoren: Korrektheit, Vollständigkeit 
. Schlussfolgerungen der Autoren 


Die vorhandenen Ansätze zur Verbesserung der Datenqualität von Rou- 
tinedaten in der hausärztlichen Versorgung bedürfen einer gründliche- 
ren als der bisher (Stand 2006) durchgeführten Untersuchung. Dabei 
sollte auf eine ausreichend detaillierte Beschreibung der Methoden ge- 
achtet werden und sowohl die Vollständigkeit als auch die Korrektheit 
der Daten bestimmt werden. 


. Zusammenfassung der Publikation 


Die Autoren haben die Frage untersucht, mit welchen Methoden die 
Datenqualität von Routinedaten in der hausärztlichen Versorgung effek- 
tiv verbessert werden kann. Dazu haben sie die Medline-Datenbank mit 
passenden Begriffen und Schlagworten (MeSH Medical Subject Hea- 
dings) durchsucht und insgesamt 12 Studien gefunden. Keine einzige 
Studie untersuchte SDV als Mittel zur Qualitätsverbesserung. Über den 
Einsatz von Qualitätsindikatoren wurde in 10 der 12 Studien berichtet. 
Die häufigste Methode zur Qualitätsverbesserung war ein individuali- 
siertes Feedback. Fast alle in den Studien betrachteten Ansätze zur Ver- 
besserung der Datenqualität waren in irgendeiner Weise mehr oder we- 
niger wirksam. 


. Kommentar 


Diese Arbeit zeigt, dass - Stand 2006 - noch ein erheblicher Forschungs- 
bedarf im Bereich der Datenqualitätsverbesserung bei der hausärztlichen 
Routinedokumentation besteht. 


Chiba et al. 2012 


An FWN PF 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 
Herkunft der Autoren: Japan 
Bezug zum Thema: Qualitatsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Routinedaten zweier ländlicher Krankenhäuser in Kenia 
. Qualitätsindikatoren: Genauigkeit, Relevanz, Vollständigkeit 
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7. 


Schlussfolgerungen der Autoren 

Die Datenqualität zweier Geburtenregister ländlicher Krankenhäuser er- 
wies sich bei einer qualitativen und quantitativen Überprüfung als nicht 
zufriedenstellend. Die Mängel sind auf organisatorische und technische 
Faktoren sowie Fehlverhalten der Hebammen zurückzuführen. Politi- 
sches Engagement ist nötig, um gegen diese Probleme weiter vorzugehen. 


. Zusammenfassung der Publikation 


Die Prävalenz der Müttersterblichkeit ist in Entwicklungsländern wie 
Kenia erschreckend hoch. Qualitativ hochwertige Daten zu tödlichen 
Komplikationen während der Geburt können helfen, deren Relevanz zu 
erkennen, gegen sie vorzugehen und insgesamt die Versorgung der Müt- 
ter zu verbessern. Solche Daten gibt es jedoch in Kenia nicht. Für eine 
retrospektive vergleichende Studie wurden im Jahr 2006 Daten der Ge- 
burtenregister zweier ländlicher Krankenhäuser in den Gebieten Siaya 
und Bondo untersucht. Der Fokus der Untersuchung lag hierbei auf den 
Datenqualitätskriterien Relevanz, Vollständigkeit und Genauigkeit. Die 
Registerdaten wurden auf einen Computer übertragen und dabei einer 
Prüfung auf Korrektheit unterzogen. Die Gesamtzahl der Einträge wur- 
de zudem mit denen der monatlichen Leistungsstatistiken verglichen. 
Von den 30 untersuchten Datenfeldern waren in Siaya fünf und in Bon- 
do 23 Kategorien zu mehr als 20% unvollständig. Im Median waren die 
Daten in Siaya zu 2,75% sowie in Bondo zu 33,85% unvollständig. Zudem 
wurden generellzu wenige Kategorien in die im A3-Format vorliegenden 
Register aufgenommen. Nur 66,2% in Bondo bzw. 97,3% der Daten in 
Siaya waren im Median korrekt. Die Geburtenregister in Siaya und Bon- 
do können zusammenfassend als für die Forschung unangemessen und 
irrelevant betrachtet werden. Es wurde versucht, die Gründe der Daten- 
mängelzu ermitteln. Hierbei wären grundsätzlich organisatorische Pro- 
bleme zu nennen, die beispielsweise fehlende einheitliche Werkzeuge 
zur Datenaufzeichnung bzw. von den Müttern persönlich zu tragenden 
Kosten der Datenerfassung umfassen. Ein weiterer Faktor ist das fehler- 
hafte Verhalten der Hebammen bei der Datenerfassung. 


. Bewertung der Publikation 


Mängel in der Qualität von Routinedaten eines Entwicklungslandes wie 
Kenia wurden über die Überprüfung verschiedener Qualitätskriterien ver- 
anschaulicht. Hierbei zeigen sich ein deutlicher Unterschied zu westlichen 
Standards und die Notwendigkeit weiterer politischer Hilfestellungen. 


Choquet et al. 2010 


PUNB 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 


. Herkunft der Autoren: Frankreich 
. Bezug zum Thema: Qualitatsindikatoren 
. Ort und Art der Intervention: nicht anwendbar 
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. Datenbestand: Daten des Georges Pompidou European Hospital in Paris/ 


Frankreich 


. Qualitatsindikatoren: nicht anwendbar 


7. Schlussfolgerungen der Autoren 


Die vorgestellte Methodologie erlaubt eine Verallgemeinerung tiber den 
untersuchten Anwendungsbereich hinaus. 


. Zusammenfassung der Publikation 


Die Autoren beschreiben einen Ansatz zur Untersuchung und Beeinflus- 
sung der Datenqualitat bei der Integration von elektronischen Patienten- 
akten in ein klinisches Data Warehouse. Startpunkt ist ein „Dreieck der 
Informationsqualität“ mit den 3 Ecken „Objekte“ (Daten über Objekte 
der realen Welt), „Konzepte“ (Informationsmodelle) und „Terms“ (Ter- 
minologie, Thesaurus, Klassifikation oder Vokabular). Für jede „Ecke“ 
gibt es Methoden und Scores, die jeweils die Datenqualität messen. Die- 
se Scores werden in einem globalen Score zur Beschreibung der Daten- 
qualität einer Informationsquelle zusammengefasst. Eine praktische 
Anwendung dieses Ansatzes erfolgte an den Daten des Georges Pompidou 
European Hospital in Paris/Frankreich im Rahmen des EU FP7 Projektes 
DebuglT. Dieses Projekt soll eine technische und semantische Plattform 
aufbauen, um den Datenaustausch zwischen europäischen Kranken- 
häusern über Infektionskrankheiten und antimikrobielle Resistenzen 
zu unterstützen. 


. Kommentar 


Der „Dreieck der Informationsqualität“ scheint in der Anwendung recht 
aufwendig zu sein. Seine Eignung für Register und Kohortenstudien 
müsste erst noch gezeigt werden. 


Couchoud et al. 2013 


au BRWN 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: Frankreich 
Bezug zum Thema: Qualitätsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: nicht anwendbar 
. Qualitätsindikatoren: Aktualität, Brauchbarkeit, Duplizität, Empfind- 


lichkeit, Genauigkeit, Validität, Vergleichbarkeit, Vollständigkeit, Voll- 
zähligkeit 

Schlussfolgerungen der Autoren 

Für die Untersuchung und Verbesserung der Datenqualität in Dialyse- 
Registern können Methoden und Indikatoren benutzt werden, die bei 
longitudinalen Studien zum Einsatz kommen. 


. Zusammenfassung der Publikation 


Die Autoren beschreiben verschiedene Aspekte der Datenqualität in Be- 
zug auf Dialyse-Register. Folgende Dimensionen der Datenqualität (Qua- 
litätsindikatoren) sind für solche Register besonders bedeutsam. 
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Vollzähligkeit: alle Dialyse-Patienten, die die Einschlussbedingun- 
gen des Registers erfiillen, und alle ihre Ereignisse sind im Register 
gespeichert 

Vollstandigkeit auf Merkmals-Ebene: die Rate fehlender Werte pro 
Merkmal sollte möglichst gering sein 

Vermeidung von Duplikaten: jeder Patient/jede Patientin sollte nur 
einmal im Register gespeichert sein 

Validität der Merkmale: Anteil der Fälle im Register mit einer doku- 
mentierten Eigenschaft, die diese Eigenschaft tatsächlich aufweisen 
Exaktheit der Datenelemente: die Datenelemente bilden genau die 
Merkmale ab, die gemessen werden sollen 

Vergleichbarkeit der Daten mit anderen Registern 

Brauchbarkeit der Merkmale für aktuelle und zukünftige Auswer- 
tungen 

Empfindlichkeit der Merkmale: Fähigkeit eines Merkmales, Ände- 
rungen widerzuspiegeln 

Aktualität der Daten 

Exaktheit der Datenauswertungen und Interpretation der Ergebnisse 


Zur Schätzung einiger dieser Qualitätsindikatoren gibt es als Goldstan- 
dard Empfehlungen der North American Association of Central Cancer 
Registries. 


Zur Vollzähligkeit: Vergleich mit anderen Registern; Re-Identifizie- 
rung der Fälle aus einer vom Register unabhängigen Quelle 

Zur Vollständigkeit auf Merkmals-Ebene: Berechnung des Anteils 
der Fälle mit fehlenden Angaben bezogen auf alle registrierten Fälle 
Zur Vermeidung von Duplikaten: Regeln zur Identifikation von Indi- 
viduen; regelmäßige Suche nach Duplikaten anhand personenbezo- 
gener Daten (z.B. Name, Geburtsdatum), sofern datenschutzrecht- 
lich erlaubt 

Zur Validität der Merkmale und der Exaktheit der Datenelemente: 
Doppelerfassung von Merkmalen durch verschiedene Personen und 
Prüfung der Übereinstimmungsrate; Plausibilitätsprüfungen 

Zur Vergleichbarkeit der Daten: Formale Beschreibung aller benutz- 
ten Definitionen und Regeln 

Zur Brauchbarkeit der Merkmale: Für jedes Merkmal die Berechnung 
der Anzahl wissenschaftlicher Publikationen des Registers, die die- 
ses Merkmal in irgendeiner Form nutzen 

Zur Aktualität der Daten: Berechnung der Zeitdifferenz zwischen kli- 
nischem Ereignis und seiner Erfassung im Register; Berechnung der 
Zeitdifferenz zwischen Erfassung im Register und der Bereitstellung 
für wissenschaftliche Auswertungen 


9. Kommentar 
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Die vorgestellten Qualitätsindikatoren lassen sich auch für andere Arten 
von Registern sowie Kohortenstudien einsetzen. 


Anhang 2 - Literatursichtung 2005 bis 2013 


De 2011 


NOUN BRWNEH 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 


. Herkunft der Autoren: Indien 

. Bezug zum Thema: SDV 

. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: nicht anwendbar 

. Qualitätsindikatoren: nicht anwendbar 


Schlussfolgerungen der Autoren 

Es ist an der Zeit, die 100%-SDV aus der Zeit der papiergestützten CRFs 
durch eine Kombination neuer Methoden zu ersetzen. Dies führt zu einer 
Einsparung von Ressourcen, diean anderer Stelle bei der Studienplanung 
und -durchführung eingesetzt werden können. 


. Zusammenfassung der Publikation 


Der Autor beschreibt Möglichkeiten, bei klinischen Studien auf eine voll- 
ständige SDV zu verzichten und trotzdem die regulatorischen Anforde- 
rungen an die Qualität klinischer Studien zu erfüllen, wie sie etwa in 
der ICH Guideline E6 Good Clinical Practice niedergelegt sind. Folgende 
Methoden können einzeln oder in Kombination genutzt werden: 
„Zielgerichtete“ SDV: Mittels statistischer Verfahren werden die zu 
prüfenden Patienten und Daten-Elemente ausgewählt. 
Risikobasierte SDV: Die SDV wird auf besonders risikobehaftete 
Daten-Elemente konzentriert, d.h. auf Daten-Elemente, bei denen 
Fehler eine große Auswirkung auf die Qualität der Studiendaten oder 
-ergebnisse aufweisen 
Adaptive SDV: Ein initialer Monitoring-Plan wird dynamisch an die 
Ergebnisse der durchgeführten SDV angepasst (z.B. Konzentration 
auf Studienzentren mit besonders schlechter Datenqualität) 
SDV „aus der Ferne“: SDV-Aktivitäten, die üblicherweise vor Ortin 
den Studienzentren durchgeführt werden, werden in die Studienzen- 
trale verlagert 
Hybride SDV: Eine Mischung aus „zielgerichteter“ SDV (Punkt 1) und 
SDV „aus der Ferne“ (Punkt 4) 


. Kommentar 


Die hier beschriebene adaptive SDV entspricht dem Konzept, das die Leit- 
linie vorschlägt. 


Duda et al. 2012 


upweH 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualität 
Herkunft der Autoren: USA 
Bezug zum Thema: SDV 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Caribbean, Central and South America Network for HIV 


Epidemiology (CCASAnet) 
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6. 
7: 


Qualitatsindikatoren: Korrektheit, Vollstandigkeit 
Schlussfolgerungen der Autoren 

In Kohortenstudien sollten Audits mit SDV genutzt werden, um die 
Datenqualität zu prüfen und zu verbessern und den Prozess der Daten- 
sammlung zu optimieren. 


. Zusammenfassung der Publikation 


Die Autoren untersuchten mittels SDV bei Vor-Ort-Audits zwischen Ap- 
ril 2007 und Marz 2008 die Korrektheit und Vollstandigkeit von Studien- 
daten, die aus der Routinedokumentation der beteiligten Kliniken ge- 
wonnen wurden. Die Kliniken sind Teil eines internationalen HIV-For- 
schungsnetzwerkes und nutzen unterschiedliche Wege zur Datentiber- 
mittlung an das Netzwerk. Jeweils 30 zufällig ausgewählte Datensätze 
aus dem Datenbestand des Netzwerkes wurden mit den Originaldaten 
in der untersuchten Klinik verglichen. Das Vergleichsergebnis wurde 
pro Daten-Element (demographische Angaben, HIV-relevante medizini- 
sche Informationen) folgendermaßen klassifiziert: 
Korrekt: Wertin der Studiendatenbank ist mit Originalwert identisch. 
Geringfügige Fehler („minor error“): Fehler, der kein „major error“ ist. 
Bedeutsamer Fehler („major error“): Klinisch bedeutsamer Unter- 
schied zwischen Wert in der Studiendatenbank und Originalwert. 
Fehlender Wert in der Studiendatenbank: Vorhandener Originalwert 
wurde nicht in die Studiendatenbank übertragen. 
Quellenloser Wert: Zu dem Wert in der Studienbank wurde kein Ori- 
ginalwert gefunden. 
Aus den Einzelergebnissen wurden Fehlerraten pro Datenelement be- 
rechnet. 
5 der 7 untersuchten Kliniken wiesen Fehlerraten > 10% bei wichtigen 
Studienvariablen, Labordaten, Gewichtsmessungen und antiretroviralen 
Medikamenten auf. In allen untersuchten Kliniken gab es signifikante 
Abweichungen bei dem Beginn- oder Endedatum von Medikamenten. 


. Kommentar 


Die Untersuchung zeigt, dass die SDV bei der Nutzung heterogener 
Datenquelle eine wichtige Rolle bei der Beurteilung und Verbesserung 
der Datenqualität spielt. 


Dyck et al. 2007 


u PUNB 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 


. Herkunft der Autoren: USA 

. Bezug zum Thema: Qualitätsindikatoren 

. Ort und Art der Intervention: nicht anwendbar 

. Datenbestand: Studiendaten zu in Altersheimen untergebrachten und 


unter Delirium leidenden Patienten. 


. Qualitätsindikatoren: Validität, Vollständigkeit, Zuverlässigkeit. 
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7. Schlussfolgerungen der Autoren 
Die Datenqualität beeinflusst direkt die Zuverlässigkeit und Validität 
einer Studie. Um diese zu gewährleisten, wurde für die vorliegende Ko- 
hortenstudie ein aufwendiges Programm zur Qualitätssicherung der 
Daten erarbeitet. 

8. Zusammenfassung der Publikation 
Die Autoren dieser Arbeit erläutern methodische Anstrengungen, eine 
hohe Datenqualität im Kontext einer Kohortenstudie mit an Delirium 
leidenden, in Altersheimen untergebrachten Patienten zu gewährleisten. 
Die Studie fand in ländlicher Umgebung im Südwesten der USA im Bun- 
desstaat Iowa statt. Die vorgestellte Strategie des Qualitätsmanagements 
richtete sich in erster Linie nach einer Vorlage von Donabedian et al. Hier- 
bei wurde das Qualitätsmanagement in zwei Teilbereiche, die Konzeption 
der zugrunde liegenden Struktur sowie die Verwaltung der Prozesse unter- 
teilt. Als strukturelle Komponenten wurden der Studienantrag, die Stu- 
dienzentren, die Instrumente, Laboreinrichtungen als auch das Personal 
eingeordnet. Zu jedem Teilbereich wurden dabei aktuelle standardisierte 
Vorlagen verwendet. Patientendaten wurden durch die zufällige Auswahl 
der teilnehmenden Pflegeheime gefolgt von der zufälligen Auswahl der 
dort ansässigen Patienten ermittelt. Auch die Untersuchungsinstrumen- 
te richteten sich nach Standards, und die Durchführung der Untersu- 
chungen erfolgte jeweils zu denselben Tageszeiten. Forschungsassisten- 
ten waren angewiesen, zeitnah die Daten in Protokolle aufzunehmen. 
Zudem verfügte die Studie über einen Datenqualitätskoordinator, der die 
Arbeit der Forschungsassistenten koordinierte und kontrollierte. 
Für das Datenqualitätsprogramm wurden Konzepte zu den folgenden 
drei Prozeduren ausgearbeitet und umgesetzt: Kompetenzeinschätzung, 
Bewertung der Reliabilität sowie Berichte zur Datenvollständigkeit. Zur 
Kompetenzeinschätzung wurden die Forschungsassistenten durch den 
Datenqualitätskoordinator bezüglich der notwendigen Datenelemente, 
beispielsweise dem Ausmaß des Deliriums des jeweiligen Patienten, re- 
gelmäßig geschult und mit einem schriftlichen Test geprüft. Weitere 
Maßnahmen hierzu umfassten den wöchentlichen Kontakt mit dem 
Forschungsvorstand. 
Zur regelmäßigen Prüfung der Reliabilität zwischen den Forschungsas- 
sistenten wurde deren Übereinstimmung bei der Bewertung kognitiver 
Tests verwendet. Lag diese unter 90%, wurde eine Nachschulung ange- 
ordnet. Die Qualitätskontrolle zu Vollständigkeit und Korrektheit erfolg- 
te im Forschungsbüro des Studienteams. Werte fehlten meist dann, 
wenn die Patienten nicht in der Lage waren oder sich weigerten, spezi- 
fische Fragen zu beantworten. Die Dateneingabe in die Datenbank er- 
folgte ausschließlich durch den Forschungsvorstand. 

9. Bewertung der Publikation 
Sehr praxisorientiert beschreibt die Arbeit das genaue Vorgehen zur Ge- 
währleistung einer hohen Datenqualität in der vorgestellten Kohorten- 
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studie. Dabei erscheint besonders die Schulung und Kontrolle des For- 
schungspersonals zwar als aufwendig, jedoch effektiv und gut durch- 
dacht und auf andere Projekte tibertragbar. 


Franca et al. 2008 


OU BWN 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 
Herkunft der Autoren: Brasilien 
Bezug zum Thema: Qualitatsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: brasilianische Todesursachenstatistik aus den Jahren 


2002-2004 


. Qualitätsindikatoren: Generalisierbarkeit, Korrektheit, politische Rele- 


vanz, Zuverlässigkeit 

Schlussfolgerungen der Autoren 

Bei Auswertung der Todesursachenstatistik in Brasilien müssen Mängel 
bei deren Vollständigkeit sowie hinsichtlich der Falschkodierung von 
Todesursachen beachtet werden. Vor allem in den nördlichen, sozioöko- 
nomisch schwachen Regionen sind Maßnahmen notwendig, um die 
Datenqualität verbessern. 


. Zusammenfassung der Publikation 


Eine der größten Einschränkungen bei der Analyse von Daten der Todes- 
ursachenstatistik in Entwicklungsländern ist die Qualität der Daten. 
Trotz gesetzlicher Maßnahmen stellt sich der betreffende Datenbestand 
in Brasilien als fragmentiert und inkonsistent zwischen den Regionen 
dar. Aus diesem Grund wurde eine umfangreiche Bewertungsstruktur 
geschaffen, um Unterschiede in der Qualität der Daten zwischen den 
brasilianischen Regionen zu identifizieren. Die zu untersuchenden 
Daten aus den Jahren 2002 bis 2004 wurden aus dem 1975 gegründeten 
Mortality Information System bezogen. Die verwendete Bewertungs- 
struktur, formalisiert in einer vorhergenden Arbeit der Co-Autoren [Rao 
et al. 2005], untersucht vier Hauptattribute bestehend aus neun zuge- 
ordneten Kriterien: 

Generalisierbarkeit (mit den Kriterien Abdeckung und Vollständig- 

keit), 

Korrektheit (Verwendung von unspezifischen Kodes, Inhaltskorrekt- 

heit, unrichtige oder unwahrscheinliche Alters- oder Geschlechtsver- 

teilungen), 

Zuverlässigkeit (generelles Niveau der Sterblichkeit und Konsistenz 

von ursachenspezifischen Sterblichkeitseigenschaften über die Zeit) 

sowie 

politische Relevanz (Aktualität und geographische Nicht-Überein- 

stimmung). 
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Die Untersuchung der Generalisierbarkeit befasste sich mit der Frage, 
ob das Mortality Information System tatsächlich die Daten aller Regio- 
nen vollständig abdeckt. Hierfür wurde anhand von Volkszählungsdaten 
geprüft, ob die Daten der Todesursachenstatistik unterrepräsentiert vor- 
liegen. Auf nationaler Ebene beträgt die Vollständigkeit der registrierten 
Todesfälle ca. 90%. Unterschiede zwischen den Regionen waren jedoch 
vorhanden und sind auf die ökonomischen Unterschiede zurückzufüh- 
ren. Zur Prüfung der Korrektheit wurden die gegebenen Diagnosekodes 
der Jahre 2002 bis 2004 manuell auf Stimmigkeit geprüft. Hierbei wurden 
je nach Region im Mittel 13,1% der ermittelten Diagnosekodes als un- 
stimmig eingeordnet. Anhand der beobachteten und der nach Alter und 
Geschlecht vorhergesagten Sterblichkeit beiTod durch Fremdeinwirkung 
wurde die Zuverlässigkeit geprüft. Aus dieser Untersuchung ließen sich 
jedoch keine Probleme der Datenqualität ableiten. Bei der Untersuchung 
der politischen Relevanz zeigte sich, dass die Verfügbarkeit der Daten 
sowohl zeitlich (ca. 18 Monate Verzug) als auch angemessen für subna- 
tionale Analysen gegeben ist. Grundsätzlich ließ sich beobachten, dass 
die Datenqualität der Daten des Mortality Information Systems in den 
südlichen, südöstlichen sowie zentralwestlichen Regionen befriedigend 
ist. Die Datenqualität der nördlichen bzw. nordöstlichen Regionen zeigt 
jedoch Mängel. 


. Kommentar 


Anhand einer umfangreichen Bewertungsstruktur wurden anschaulich 
verschiedene Aspekte zur Datenqualität der brasilianischen Todesursa- 
chenstatistik untersucht. Hierbei zeigt sich eine starke Korrelation zwi- 
schen Datenqualität und soziodkonomischem Niveau der einzelnen Re- 
gionen. 


Kahn et al. 2012 


au WN HB 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: USA 
Bezug zum Thema: Qualitatsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: nicht anwendbar 
. Qualitätsindikatoren: angemessenes Datenvolumen, Glaubwürdigkeit, 


Korrektheit, Objektivität, Zeitnähe 

Schlussfolgerungen der Autoren 

Eine systematische Vorgehensweise bei der Bewertung von Datenquali- 
tätistessentiell, um das Potenzial elektronischer Patientenakten für die 
Forschung ausschöpfen zu können. 


. Zusammenfassung der Publikation 


Daten aus elektronischen Patientenakten werden zunehmend für wis- 
senschaftliche Studien genutzt. Die Autoren schlagen ein Konzeptmo- 
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dell vor, um die Datenqualitat solcher Akten, insbesondere wenn sie als 
Quelle fiir multizentrische Studien dienen, zu priifen. Dieses Konzept- 
modell ist eine Vereinfachung eines früher von anderen Autoren vorge- 
schlagenen Modells und umfasst zwei Kategorien: 

Intrinsisch: Merkmale von Datenqualität, die den Daten selbst zuzu- 

ordnen sind (Qualitätsindikatoren Korrektheit, Objektivität, Glaub- 

würdigkeit). 

Konzeptuell: Merkmale von Datenqualität, die im Kontext der geplan- 

ten Datennutzung relevant sind (Qualitätsindikatoren Rechtzeitig- 

keit, angemessenes Datenvolumen). 
Ergänzt wird dieses Modell durch ein Prozess-Modell für die Planung und 
Durchführung von unizentrischen und multizentrischen Datenquali- 
tätsprüfungen. Dazu gehören eine Priorisierung von Variablen und 
Datenqualitätsdimensionen, Standardverfahren für die Prüfung der 
Datenqualität und iterative Prüfungen der Datenqualität innerhalb von 
Studienzentren und zentrumsübergreifend. Die Aktivitäten sollten auf 
die Datenbereiche konzentriert werden, die besonders anfällig für Qua- 
litätsprobleme sind, und umfassend dokumentiert werden. 


. Kommentar 


Die Autoren fassen bestehende Erkenntnisse in einem neuen Modell zu- 
sammen. 


Krzych et al. 2011 


uRweH 
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Art des wissenschaftlichen Vorhabens: Analyse 
Herkunft der Autoren: Polen, Vereinigtes Königreich 
Bezug zum Thema: Qualitätsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: multi-zentrische Studie „Arterial Revascularisation Trial 


(ART)“, Daten aus verschiedenen Ländern 


. Qualitätsindikatoren: Aktualität, Rekrutierungsrate, Vollständigkeit 


Schlussfolgerungen der Autoren 

Die Studie zeigte eine vergleichbare Datenqualität in entwickelten und 
Entwicklungsländern. Wichtig sind ein angemessenes Training der Stu- 
dienzentren und ein zentrales Management der Datenqualität. 


. Zusammenfassung der Publikation 


Die Autoren untersuchten die Datenqualität einer multi-zentrischen 
randomisierten Studie anhand der Qualitätsindikatoren Rekrutierungs- 
rate, Aktualität und Vollständigkeit in verschiedenen Studienzentren in 
Ländern mit unterschiedlichem sozioökonomischen Status. Die Analyse 
basierte auf den CRFs, die zum 6-Wochen-Follow-Up der Studie ausge- 
füllt werden mussten. Die ausgefüllten CRFs wurden danach unterschie- 
den, ob Rückfragen („Queries“) notwendig waren. Die Aktualität der 
Daten wurde bestimmt durch die Zeit zwischen Durchführung des Fol- 
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low-Ups und Erhalt der ausgefiillten CRFs in der Studienzentrale. Be- 
rechnet wurden die prozentuale Rate von Queries und die Anzahl Tage 
zwischen Follow-Up und Erhalt der korrekten Daten. Beim sozioökono- 
mischen Status wurde gemäß einer Definition der Weltbank unterschie- 
den zwischen entwickelten Ländern (Italien, Großbritannien, Öster- 
reich, Australien; insgesamt 18 Studienzentren) und Entwicklungslän- 
dern (Polen, Brasilien, Indien; insgesamt 10 Studienzentren). Die Rek- 
rutierungsrate unterschied sich nicht signifikant zwischen 
Entwicklungslandern (4,1 Personen/Monat) und entwickelten Landern 
(3,7 Personen/Monat). In den Entwicklungslandern dauerte es im Median 
37 Tage, bis die Daten des Follow-Ups in der Studienzentrale eintrafen; 
in den entwickelten Landern waren es im Median 11 Tage. Der Median 
der Query-Rate lag in den Entwicklungslandern bei 19% gegenüber 23% 
in den entwickelten Landern. 


. Kommentar 


Der Einfluß soziodkonomischer Faktoren auf die Datenqualität wird sehr 
selten untersucht. Diese Untersuchung ist bedeutsam für multi-natio- 
nale Kohorten und Register. 


Larsen et al. 2009 


au BPW N HF 


. Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 

. Herkunft der Autoren: Norwegen 

. Bezug zum Thema: Qualitatsindikatoren 

. Ort und Art der Intervention: nicht anwendbar 

. Datenbestand: Norwegisches Krebsregister 

. Qualitätsindikatoren: Aktualität, Korrektheit, Vergleichbarkeit, Voll- 


ständigkeit 

Schlussfolgerungen der Autoren 

Das norwegische Krebsregister enthält Daten, die international ver- 
gleichbar und angemessen vollständig und richtig sind. Damit ist es 
gerechtfertigt, jährliche Inzidenzen ein Jahr nach der Diagnose zu be- 
richten. 


. Zusammenfassung der Publikation 


Ziel der Untersuchung war die Bewertung der Datenqualität im Norwe- 
gischen Krebsregister. Dazu wurden die Qualitätsindikatoren Vergleich- 
barkeit, Vollständigkeit, Korrektheit und Aktualität für den Zeitraum 
1953-2005 mit besonderem Augenmerk auf dem Zeitraum 2001-2005 ana- 
lysiert. Das norwegische Krebsregister folgt bei der Kodierung und Klas- 
sifikation internationalen Standards und erlaubt somit einen Vergleich 
seiner Daten mit anderen Krebsregistern. Die Vollständigkeit lag im Zeit- 
raum 2001-2005 insgesamt bei 98,8%. Hamatologische bösartige Tumore 
(ICD-10-Kodes C90-C95) und Tumore des zentralen Nervensystems (ICD- 
10-Kodes C70-C72) erreichten eine deutlich schlechtere Vollständigkeit. 
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Im Zeitraum 2001-2005 wurden 93,8% der Falle morphologisch verifiziert. 
Der Median der Zeitdifferenz zwischen Diagnosedatum und Datum der 
Registrierung im Krebsregister reduzierte sich von mehr als 525 Tagen 
im Jahre 2001 auf 261 Tage im Jahre 2005. 


. Kommentar 


Die international etablierten Standards fiir Krebsregister scheinen sich 
in Punkto Datenqualität zu bewähren. 


Loane et al. 2011 


UBWN 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: Vereinigtes Königreich 
Bezug zum Thema: Qualitätsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Register kongenitaler Anomalien, zusammengeschlos- 


sen im Netzwerk European Surveillance of Congenital Anomalies (EU- 
ROCAT). 


. Qualitätsindikatoren: Korrektheit, Verfügbarkeit, Vollständigkeit, Voll- 


zähligkeit, Zeitnähe 

Schlussfolgerungen der Autoren 

Die von EUROCAT benutzten Datenqualitätsindikatoren erlauben einen 
Vergleich der teilnehmenden Register und geben Hinweise auf Verbes- 
serungsmöglichkeiten bei der Datenerfassung. 


. Zusammenfassung der Publikation 


Das europäische Netzwerk von Registern zu kongenitalen Anomalien 
(EUROCAT = European Surveillance of Congenital Anomalies) sammelt 
Daten zu Lebendgeburten, fetalem Tod ab der 20. Schwangerschaftswo- 
che und Schwangerschaftsabbrüchen wegen fetaler Anomalien. Zur Si- 
cherstellung einer hohen Datenqualität werden 30 Qualitätsindikatoren 
benutzt, die sich auf folgende Schlüsselelemente der Datenqualität be- 
ziehen: 

Korrektheit der Diagnose (12 Qualitätsindikatoren), 

Verfügbarkeit von Bevölkerungszahlen für die Berechnung von Raten 

(2 Qualitätsindikatoren), 

Vollzähligkeit (10 Qualitätsindikatoren), 

Vollständigkeit der Informationen in den EUROCAT-Variablen (5 Qua- 

litätsindikatoren) sowie 

Zeitnähe der Datenübermittlung (1 Qualitätsindikator). 
Die Werte der Qualitätsindikatoren werden für jedes beteiligte Register 
und für den gesamten Datenbestand berechnet und auf der Homepage 
von EUROCAT präsentiert. 


. Kommentar 


Die Datenqualitätsindikatoren sind so speziell auf kongenitale Anoma- 
lien ausgerichtet, dass sie nicht für andere Register oder Kohorten ver- 
allgemeinert werden können. 
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Macefield et al. 2013 


1 
2 
3 
4 
5 
6 
7 


Art des wissenschaftlichen Vorhabens: systematisches Review 
Herkunft der Autoren: Vereinigtes Königreich 
Bezug zum Thema: SDV 
Ort und Art der Intervention: nicht anwendbar 
Datenbestand: nicht anwendbar 
Qualitätsindikatoren: nicht anwendbar 
Schlussfolgerungen der Autoren 
Es gibt eine große Vielfalt unterschiedlicher Verfahrensweisen für das 
Vor-Ort-Monitoring. 
Zusammenfassung der Publikation 
Die Autoren untersuchten in der Literatur beschriebene Verfahren zur 
SDV mittels Vor-Ort-Monitoring beirandomisierten Studien des Gesund- 
heitswesens. Die mittels systematischer Literaturrecherche gefundenen 
Quellen wurden aufgeteilt in die Kategorien: 

Berichte von Forschungsgruppen und -organisationen 

Berichte von einzelnen randomisierten Studien 

Randomisierte Studien, in denen Varianten des Vor-Ort-Monitorings 

getestet wurden 

Kostensimulationen 

Umfragen bei Studienmitarbeitern und Monitoren 
Informationen aus Quellen der Kategorien ı bis 3 wurden zusammen- 
gefasst hinsichtlich der Häufigkeit und des Umfangs der Monitorbesu- 
che, der Größe und Zusammensetzung des Monitoring-Teams, der Tä- 
tigkeiten während der Monitorbesuche sowie des Berichtswesens. Vor- 
teile und Nachteile des Vor-Ort-Monitorings wurden für alle betrachte- 
ten Quellen ausgewertet. 57 relevante Artikel wurden identifiziert 
(Kategorie 1: 21 Artikel, Kategorie 2: 30 Artikel, Kategorie 3: 1 Artikel, 
Kategorie 4: 2 Artikel, Kategorie 5: 3 Artikel). Die Besuchshäufigkeit des 
Vor-Ort-Monitorings variierte zwischen 6-8 Wochen und 3 Jahren, die 
Anzahl der Besuche zwischen ı und 8. In den meisten Fällen wurde ein 
SDV durchgeführt und die Einverständniserklärungen geprüft. Als Vor- 
teile des Vor-Ort-Monitorings wurden verbesserte Rekrutierungsraten 
und eine bessere Einhaltung des Studienprotokolls berichtet. Als Nach- 
teile erwiesen sich die direkten Kosten und die benötigte Arbeitszeit der 
Monitore. 


. Kommentar 


Eine systematische Evaluation des Vor-Ort-Monitorings und der dabei 
durchgeführten SDV fehlt bisher. Der vorliegende Artikel ist ein wichtiger 
Ansatz, das publizierte Wissen zu dieser Thematik zusammenzufassen. 
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Maruszewski et al. 2005 


nN PPU NBE 


NY O 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualität 
Herkunft der Autoren: international 

Bezug zum Thema: Qualitätsindikatoren, SDV 

Ort und Art der Intervention: nicht anwendbar 

Datenbestand: Datenbestand der European Congenital Heart Defects 
Database (ECHSA) aus dem Jahr 2003. 

Qualitätsindikatoren: Genauigkeit, Vollständigkeit 
Schlussfolgerungen der Autoren 

Bei der SDV in verschiedenen europäischen Zentren zeigten sich keine 
statistisch signifikanten Unterschiede zwischen nicht-verifizierten und 
verifizierten Daten. Allerdings leidet die Studie unter der willkürlichen 
Auswahl der Datenzentren, bei denen es sich um Standorte handelte, 
die bereits als qualitativ hochwertige Datenlieferanten bekannt waren. 
Zusammenfassung der Publikation 

Die European Association for Cardio-Thoracic Surgery (EACTS) trägt der- 
zeit die finanzielle Verantwortung für eine seit den 1990er Jahren be- 
stehende Datenbank, in der europaweit Angaben zu Operationen bei 
angeborenen Herzfehlern gesammelt werden. Das Management der 
Datenbank entschied sich für einen Datenverifikationsversuch mittels 
Source Data Verification (SDV). 

In fünf europäischen Zentren, die sich freiwillig gemeldet hatten, wur- 
den im Zeitraum vom 01.06.2004 bis 31.07.2004 die Daten von insgesamt 
32% der Patienten und 34% der Prozeduren aus dem Jahre 2003 von zwei 
Mitarbeitern der Datenbank geprüft. Die Prüfung umfasste folgende 
Datenelemente: 30-Tage-Mortalität, Länge des Aufenthaltes im Zent- 
rum, Geburtsdatum, Datum der Aufnahme, Datum der Operation, 
Datum der Entlassung/des Todes, Körpergewicht, Fallkategorie, Zeit- 
dauer des kardiopulmonalen Bypasses, Zeitdauer der Aortaklemme und 
Zeitdauer des Kreislaufstillstands. 

Verglichen wurden die Mittelwerte der einzelnen Datenelemente vor und 
nach der Datenverifikation mittels Welch’s t-Test. Statistische Signifi- 
kanz wurde bei einem p-Wert < 0,05 angenommen. Es wurden keine 
statistisch signifikanten Unterschiede zwischen den nicht-verifizierten 
und den verifizierten Daten festgestellt. 


. Bewertung der Publikation 


Die Ergebnisse der Studie illustrieren die Notwendigkeit, bei Datenqua- 
litätsanalysen möglichst jede Befangenheit zu vermeiden. Zwar erschei- 
nen die Ergebnisse sehr positiv; durch die gezielte Auswahl der geprüften 
Standorte kommen jedoch Zweifel auf, ob die Ergebnisse verallgemei- 
nerbar sind. Eine zufällige Auswahl des Standortes oder eine SDV über 
den Datenbestand aller assoziierten Zentren aus dem Jahr 2003 hätte 
diese Problematik beseitigt. 
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McKenzie et al. 2005 


1 
2 
3 
4 
5 


ND 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 

Herkunft der Autoren: Australien 

Bezug zum Thema: Qualitatsindikatoren 

Ort und Art der Intervention: nicht anwendbar 

Datenbestand: Patientendaten des Queensland Trauma Registry (QTR) 

aus dem Jahr 1998 sowie die dazugehörigen Ursprungsdaten mit passen- 

den Einschlusskriterien eines Krankenhauses aus Brisbane. 

Qualitatsindikatoren: Konkordanz 

Schlussfolgerungen der Autoren 

Obwohl eine Konkordanz von 95% zwischen Krankenhausdaten und Re- 

gisterdaten relativ gut erscheint, legt die Studie offen, dass der Prozess 

der Datenaufnahme in die Register verbessert werden kann. Regelmä- 

Bige Kontrollen zur Qualität und Vollständigkeit sind wichtig, wenn 

Registerdaten für die medizinische Forschung verwendet werden sollen. 

Zusammenfassung der Publikation 

Im Jahr 2003 wurde an einem Krankenhaus in Brisbane eine Studie zu 

Sterberate und Todesursache bis zu vier Jahre nach Krankenhausaufnah- 

me bei Patienten mit schweren Verletzungen durchgeführt. Unter Er- 

füllung bestimmter Einschlusskriterien wurden die Daten der betroffe- 
nen Patienten in das QTR übertragen. Die Einschlusskriterien waren 
dann erfüllt, wenn Patienten im Jahr 1998 für mindestens 24 Stunden 
aufgrund einer Verletzung stationär behandelt wurden. Anhand dieser 

Studie wurden Konkordanz sowie Typ und Quelle von Datenqualitäts- 

problemen zwischen den Daten des QTR und den ursprünglich erhobe- 

nen Krankenhausdaten bestimmt. 

Aus den aus 1998 verfügbaren QTR-Daten wurden hierzu demografische 

Variablen zu Namen, Geschlecht, Geburtsdatum sowie, falls verfügbar, 

Sterbedatum exportiert und die dazu passenden, im Krankenhaus ver- 

fügbaren Ursprungsdaten bestimmt. Hierbei wurden noch einmal an- 

hand der Krankenhausdaten die Einschlusskriterien, speziell Aufnah- 
me- und Entlassungsdatum, geprüft. Zudem wurden gegenläufig die 

Krankenhausdaten retrospektiv auf Patienten mit passenden Einschluss- 

kriterien geprüft, die durch das Matching mit den QTR-Daten nicht iden- 

tifiziert werden konnten. 

Folgende vier Hauptklassen von Problemen wurden identifiziert: 
Scheitern der Wiedererkennung relevanter Patienten anhand der 
QTR-Daten, 
fälschliche Aufnahme von irrelevanten Patientendaten in das QTR, 
unvollständige bzw. ungenaue Krankenhausdaten sowie 
unvollständige bzw. ungenaue Datenaufnahme des QTR 

Informationen zu 1.749 Patienten waren in den QTR-Daten vorhanden. 

Hiervon erfüllten 71 Patienten (ca. 4%) nicht die Einschlusskriterien. 
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Zwölf Patienten wurden vom QTR fälschlicherweise nicht registriert (ca. 
1%). Die Konkordanz zwischen den Daten des Krankenhauses sowie des 
QTR liegt bei ca. 95%. In 52% der Fälle beruhten die Unstimmigkeiten auf 
Fehlern des QTR, in 22% der Fälle auf Fehlern des Krankenhauses und in 
26% der Fälle war die Fehlerquelle unsicher. 


9. Kommentar 


Mes 


OU BPWN HH 


N 


Die Arbeit zeigt, dass trotz festgelegter Einschlusskriterien Unterschie- 
de zwischen Register- und Krankenhausdaten auftreten können. Gerade 
die Interpretation bzw. Kommunikation der Einschlusskriterien mag in 
dieser Arbeit fiir die Unterschiede gesorgt haben und zeigt folglich die 
Notwendigkeit einer strikten Definition. 


senger et al. 2012 


. Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 
Herkunft der Autoren: USA 
. Bezug zum Thema: Feedback, Qualitatsindikatoren, SDV 
. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: National Cardiovascular Data Registry (NCDR) in den USA 
. Qualitatsindikatoren: Korrektheit, Vollständigkeit, Widerspruchsfrei- 
heit 
. Schlussfolgerungen der Autoren 
Die Ergebnisse des Audits von 2010 zeigen eine hohe Übereinstimmung 
der Registerdaten mit den Originaldaten. 
. Zusammenfassung der Publikation 
Das US-amerikanische Register für kardiovaskuläre Daten (National Car- 
diovascular Data Registry [NCDR]) hat ein Datenqualitätsprogramm ent- 
wickelt, um die Vollständigkeit, Widerspruchsfreiheit und Richtigkeit 
der Daten zu gewährleisten. Dieses Programm besteht aus drei wesent- 
lichen Bausteinen: 
einem Datenqualitätsbericht, 
internen Maßnahmen zur Qualitätskontrolle und 
einem jährlichen Audit der Daten. 
NurDaten, die eine vordefinierte Vollständigkeit und Widerspruchsfrei- 
heit erreichen, werden in das Register aufgenommen. Jährlich werden 
insgesamt 300 bis 625 Datensätze aus 25 zufällig ausgewählten Studien- 
zentren (= 12 bis 25 Datensätze pro Zentrum) auditiert, d.h. die Werte 
werden mit den Originalwerten verglichen (SDV). Im Jahre 2010 wurden 
hierbei für die Richtigkeit Werte von 85% bis 97% erreicht. 
. Kommentar 
Das vorgestellte Datenqualitätsprogramm lässt sich für andere Register 
und Kohorten adaptieren. 
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Mphatswe et al. 2012 


1, 


Art des wissenschaftlichen Vorhabens: Intervention zur Verbesserung 
der Datenqualität 

Herkunft der Autoren: Südafrika 

Bezug zum Thema: Feedback, Qualitätsindikatoren, SDV 


. Ort und Art der Intervention: Auf Feedback und Training basierende 


Intervention zur Verbesserung der Vollständigkeit und Genauigkeit von 
öffentlichen Routinedaten des Gesundheitswesens in KwaZulu-Natal, 
Südafrika. 


. Datenbestand: Routinedaten zur primären Gesundheitsversorgung in 


Südafrika einschließlich Daten zur Prävention einer Mutter-Kind-Über- 
tragung des HIV-Erregers (prevention of mother-to-child transmission 
[PMTCT]). 


. Qualitatsindikatoren: Genauigkeit, Vollständigkeit. 


7. Schlussfolgerungen der Autoren 


Schulung des Pflegepersonals zur Datenaufnahme sowie monatliches 
Feedback und regelmäßige Prüfung des Datenbestandes konnten die 
Datenqualität von PMTCT-Daten in Bezug auf Vollständigkeit und Ge- 
nauigkeit signifikant erhöhen. Demnach spiegelt der Bericht einen ein- 
fachen, praktischen Ansatz wider, die Qualität des öffentlichen Gesund- 
heitswesens zu verbessern. 


. Zusammenfassung der Publikation 


Mit 38,7% ist die Prävalenz von HIV im Jahr 2007 bei Frauen in der Region 
KwaZulu-Natal die höchste in ganz Südafrika. Es wurde postuliert, die 
Mutter-Kind-Übertragungsrate von HIV bis 2011 aufunter 5% zu senken. 
Aufgrund der im Vorfeld bekannt gewordenen deutlichen Mängel in der 
Datenqualität von Routinedaten des Gesundheitswesens, einschließlich 
Daten zu PMTCT, wurde das Großprojekt 20.000+ Partnership gegründet, 
welches die Verbesserung der Qualität der PMTCT-Daten in der Provinz 
KwaZulu-Natal zur Aufgabe hat. Dies beinhaltet die Verbesserung von 
Vollständigkeit und Genauigkeit der Sammlung von öffentlichen Rou- 
tinedaten des Gesundheitswesens im District Health Information System 
(DHIS). Hierzu wurden 78 zufällig gewählte medizinische Einrichtungen 
der Provinz, die PMTCT-Daten zur Verfügung stellten und an der Inter- 
vention teilnahmen, aufgesucht und begleitet. Die Intervention basier- 
te auf drei Hauptmaßnahmen: Training zur Datenerfassung, monatli- 
ches Feedback zu den Daten sowie regelmäßige Datenprüfung. Der 
Datenbestand wurde vor der Intervention zwischen September und No- 
vember 2007, während der Intervention zwischen Juni und September 
2008 sowie nach der Intervention im März 2009 aufgenommen und aus- 
gewertet. Mittels SDV, die den Datenbestand der verschiedenen Einrich- 
tungen mit dem Bestand des DHIS vergleicht, wurden Vollständigkeit 
und Genauigkeit untersucht und quantifiziert. Dabei verbesserte sich 
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die Vollständigkeit über alle medizinischen Einrichtungen hinweg von 
26% vor der Intervention auf 64% danach. Die Genauigkeit verbesserte 
sich von 37% auf 65%. 


. Bewertung der Publikation 


Die Arbeit bietet ein anschauliches Beispiel für drastische Verbesserun- 
gen der Datenqualität durch einfache Maßnahmen wie Schulung und 
Feedback. 


Nahm et al. 2008 


1. Art des wissenschaftlichen Vorhabens: Intervention zur Verbesserung 


der Datenqualität 


2. Herkunft der Autoren: USA 


. Bezug zum Thema: SDV 
. Ort und Art der Intervention: Prüfung einer Verbesserung der Datenqua- 


lität bei der Erhebung von Studiendaten mittels Electronic Data Capture 
(EDC)-Systemen anstelle von papierbasierten Case Report Forms (CRF). 


. Datenbestand: Studiendaten des National Institute of Drug Abuse 


(NIDA) - Netzwerk für klinische Studien (CTN). 


. Qualitätsindikatoren: nicht anwendbar 


Schlussfolgerungen der Autoren 

In den NIDA-CTN erhobenen Daten ließ sich durch SDV beobachten, dass 
die Fehlerrate bei der direkten Übertragung von Daten in eine Daten- 
bank, mittels EDC, überraschend gering ist. Analog zur bisherigen For- 
schung liegt hierbei die Fehlerrate knapp über der bei CRF-/Datenbank- 
Übertragungen, jedoch stark unter der hier vorkommenden Fehlerrate 
von Quelldaten-/Datenbank-Übertragungen. Die Autoren weisen jedoch 
darauf hin, dass aufgrund der Beschaffenheit der CTN-Daten generelle 
Aussagen zur Thematik nicht möglich sind. 


. Zusammenfassung der Publikation 


In den USA hat das NIDA-CTN im Jahr 2005 veranlasst, die Datenqualität 
von Studien, die EDC Systeme zur direkten Datenübermittlung der Quell- 
daten an die Studiendatenbank verwenden und dabei eine Prüfung feh- 
lender, unpassender sowie logisch inkonsistenter Werte in den Quell- 
daten durchführen, zu quantifizieren. Es besteht die Annahme einer bes- 
seren Datenqualität gegenüber Datenbanken, deren Quelldaten erst in 
papierbasierte CRFs und anschließend in die Studiendatenbank übertra- 
gen werden. Grund dieser Annahme sind veröffentlichte Fehlerraten, die 
belegen, dass Fehler vor allem bei der Transkription der Quelldaten in die 
CRFs, und nicht erst bei der Übertragung der Informationen aus den CRFs 
in die Datenbanken auftreten. Zur Prüfung der Annahme wurden ab Ap- 
ril 2005 vier Studien am Zentrum für Daten und Statistik (DSC) des CTN, 
die EDC-Systeme verwenden, untersucht. Zu den geprüften Studien wur- 
den Quelldatenabgleiche der Patientendaten zu verschiedenen Zeitpunk- 
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ten des Studienverlaufs an insgesamt 24 Standorten vorgenommen. Die 
durchschnittliche Fehlerrate lag hierbei bei 14,3 Fehlern mit einem 
95%-Konfidenzintervall von 12-39 Fehlern in jeweils 10.000 Feldern. 
Diese Werte sind für Quelldaten-/Datenbank-Übertragungen, verglichen 
mit veröffentlichten Fehlerraten in Studien die papierbasierte CRFs nut- 
zen, extrem niedrig und vergleichbar mit Fehlerraten von CRF-/Daten- 
bank-Übertragungen. Aufgrund der überraschend niedrigen Ergebnisse 
wurden die Fehlerraten vier weiterer, ehemaliger, auf CRF basierender 
CTN-Studien ausgewertet. Die Fehlerraten zwischen Quelldaten und 
Datenbankinformation dieser Studien waren ebenfalls überraschend 
niedrig, wobei die Fehlerraten der CRF-/Datenbank-Ubertragung meist 
sogar bei durchschnittlich unter 10 bei 10.000 Feldern lagen. Eine wei- 
tere am CTN durchgeführte Studie zu therapeutischen Ansätzen bei Epi- 
lepsie mit komplexen medizinischen Daten zeigte jedoch als Ausnahme 
eine Fehlerrate von durchschnittlich 428 Fehlern in 10.000 Feldern bei 
direkter Quelldaten-/Datenbank-Ubertragung. Dies ist auf den hohen 
Detailgrad und die hohe notwendige Abstraktion der Daten der Studie 
zurückzuführen. Erklart werden die niedrigen Fehlerraten der vorher- 
gehenden CTN-Studien durch die Tatsache, dass es sich bei den daten- 
erfassenden Standorten der CTN-Studien um öffentliche Programme zur 
Behandlung von Drogenmissbrauch handelt. Die dort erfassten Daten 
sind oftmals relativ knapp und detailarm. Grundsätzlich gibt es aber 
auch bei den CTN-Studien folgende Beobachtungen: Die Fehlerraten der 
CRF-/Datenbank-Übertragung sind sehr niedrig, gefolgt von der durch- 
schnittlichen Fehlerrate der direkten Quelldaten-/Datenbank-Übertra- 
gung in Studien die hierzu EDC-Systeme verwenden. Quelldaten-/Daten- 
bank-Fehler die eine CRF als Zwischenstation verwenden sind häufiger. 
Dies deckt sich mit bisherigen Erkenntnissen. 

9. Bewertung der Publikation 
Anhand des Einsatzes von SDV zu Studien, die ETC Systeme zur direkten 
Datenübertragung der Quelldaten in die Studiendatenbanken verwenden, 
wurden niedrige Fehlerraten für die Quelldaten-/Datenbank-Übertragung 
ermittelt. Aufgrund der Einfachheit der Daten, die das CTN erhebt, wa- 
ren die Fehlerraten der Quelldaten-/Datenbank-Übertragung allerdings 
auch bei vorausgegangenen Studien, die papierbasierte CRFs verwenden, 
relativ niedrig. Letztendlich liefert die Arbeit somit nur einen schwachen 
Beleg für eine Verbesserung der Datenqualität in Studien, die zugunsten 
der Nutzung von EDC-Systemen, auf papierbasierte CRFs verzichten. 


Saez et al. 2011 


1, Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
2. Herkunft der Autoren: Spanien 
3. Bezug zum Thema: Qualitatsindikatoren 
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. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: nicht anwendbar 
. Qualitätsindikatoren: Duplizität, Kontextannotation, Korrektheit, 


räumliche Stabilität, Vollständigkeit, Vorhersagewert, Widerspruchs- 
freiheit, Zeitnähe, Zuverlässigkeit 

Schlussfolgerungen der Autoren 

Basierend auf Charakteristiken, Funktionalitäten und Ergebnissen von 
sich verändernden Daten wurde ein Datenqualitäts-Vektor (DQV) ent- 
worfen. Dieser Vektor soll als allgemeines, anpassbares Werkzeug zur 
Bewertung von Datenqualität verwendet werden. Das vorgestellte Kon- 
zept hat den Anspruch, die Basis weiterführender Arbeiten darzustellen. 


. Zusammenfassung der Publikation 


Mangelnde Datenqualität kann gerade im medizinischen Kontext zu 
fehlerhaften Entscheidungen mit schwerwiegenden Folgen für den Pa- 
tienten führen. Falsche Therapieansätze oder Fehlmedikation sind nur 
einige der Beispiele, die die Autoren in dieser Arbeit aufführen. Bewer- 
tung und Handhabung verschiedener Dimensionen der Datenqualität 
wurden bereits ausführlich in vorhandener Literatur behandelt und dis- 
kutiert. Als unzureichend wird allerdings der Umgang mit biomedizini- 
schen Daten, die sich über die Zeit hinweg oder durch die Mehrfachauf- 
nahme an verschiedenen Standorten oder Zentren verändern bzw. unter- 
scheiden können, bewertet. Hierbei sprechen die Autoren vom Problem 
des „Dataset shift“. Weiterführend wurden deswegen Charakteristiken, 
Funktionalitäten und Resultate im Bezug auf sich verändernde Daten 
spezifiziert, die eine Bewertung der Datenqualität erlauben. Als Instru- 
ment, mit diesen Eigenschaften und den bereits aus der Literatur be- 
kannten Datenqualitätsdimensionen umzugehen, wird ein DQV präsen- 
tiert. Die neun Dimensionen des Vektors wurden wie folgt definiert. 

Duplizität: Die Feststellung, inwieweit Daten zu einer Entität mehr- 

fach dupliziert erfasst wurden. 

Kontextannotation: Das Ausmaß der korrekten Annotation von Daten 

in einem erfassten Kontext. 

Korrektheit: Das Ausmaß von Genauigkeit und Präzision von Daten 

in Vergleich zu den tatsächlichen Werten. 

Räumliche Stabilität: Das Ausmaß der Stabilität von Daten über ver- 

schiedene Populationen hinweg. 

Vollständigkeit: Das Ausmaß der Vollständigkeit der Aufnahme rele- 

vanter Daten. 

Vorhersagewert: Die Beurteilung, inwieweit Daten ausreichend In- 

formation für spezifische Entscheidungen beinhalten. 

Widerspruchsfreiheit: Das Ausmaß, inwieweit Daten spezifizierten 

Bedingungen und Regeln entsprechen. 

Zuverlässigkeit: Das Ausmaß an Reputation derjenigen Geschäftsin- 

teressenten und Institutionen, die in die Aufnahme der Daten invol- 

viert sind. 
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Zeitnahe: Das Ausmaß temporärer Stabilität von Daten. 

In der Publikation steht die genaue Spezifikation der Metriken zur Quan- 
tifizierung der einzelnen Dimensionen des Vektors noch offen. Einige 
der Metriken, wie beispielsweise die zur Berechnung der Duplizitat, sol- 
len generisch ausfallen, wohingegen andere Dimensionen durch domä- 
nenspezifisch angepasste Funktionen berechnet werden sollen. Jenach 
Anwendung sollen Metriken zu allen oder auch nur Teilmengen der Di- 
mensionen zur Abschätzung der Datenqualität verwendet werden. 


. Bewertung der Publikation 


Wie die Arbeit zeigt, erfordert das Auftreten von sich verändernden 
Datenelementen neue Herangehensweisen. Zum Umgang mit diesen 
Elementen stellen die Autoren einen aus neun Dimensionen bestehen- 
den DQV vor. Leider fehlen die konkreten Spezifikationen zur Quanti- 
fizierung der einzelnen Dimensionen, weshalb die Ergebnisse wohl vor- 
erstalsreine Konzeptvorstellung und nicht als reife Anwendung zu inter- 
pretieren sind. 


Salati et al. 2011 


vu PUNB 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: Italien 
Bezug zum Thema: Qualitätsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Anonymisierte Daten der Datenbank der European Socie- 


ty of Thoracic Surgeons (ESTS) aus dem Zeitraum 2007 bis 2009. 


. Qualitätsindikatoren: Glaubwürdigkeit, Korrektheit/Genauigkeit, Voll- 


ständigkeit, Widerspruchsfreiheit. 

Schlussfolgerungen der Autoren 

Anhand einer Beispieldatenbank aus der Thoraxchirurgie wird in der 
vorliegenden Studie ein methodischer Ansatz zur Bewertung/Messung 
verschiedener Datenqualitatskriterien präsentiert. Die Hauptabsicht war 
dabei nicht die Datenqualitatsanalyse der ESTS-Datenbank, sondern der 
Test einer Methode, die verallgemeinert als Vorlage auch auf andere me- 
dizinische Datenbanken angewendet werden könnte. 


. Zusammenfassung der Publikation 


Bei der Studie gehtesum einen methodischen Ansatz, Datenqualität im 
Bereich der Thoraxchirurgie zu bewerten und eine Vorlage für zukünfti- 
ge Untersuchungen und Verbesserungen bereitzustellen. Dieser metho- 
dische Ansatz wurde zu Testzwecken auf die ESTS-Datenbank angewen- 
det. Bei der ESTS-Datenbank handelt es sich um ein Online-Register aus 
dem Bereich der Thoraxchirurgie mit ca. 150 Datenfeldern, die die ver- 
schiedenen Aspekte unterschiedlicher chirurgischer Prozeduren be- 
schreiben. Hierfür wurden dem Studienteam sämtliche Fälle im Zeit- 
raum Juli 2007 bis Oktober 2009 zur Verfügung gestellt. Die Analyse er- 
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folgte aus einem ausgewählten Pool von Variablen bei Patienten mit 
erstgradigem Lungenkrebs, an denen eine Lungenresektion durchge- 
führt wurde. 
Für die Qualitätsmessung wurden folgende fallunabhängige Metriken 
entwickelt und eingesetzt: 
Glaubwürdigkeit: Der niedrigste Wert von Vollständigkeit, Korrekt- 
heit oder Glaubwürdigkeit. 
Korrektheit/Genauigkeit: Anzahl aller korrekten Daten geteilt durch 
die Anzahl aller gezählten Daten. Bei Abweichung eines Werteinter- 
valls wurden die Daten als inkorrekt klassifiziert. 
Vollständigkeit: Anzahl aller registrierten Daten geteilt durch die An- 
zahl aller erwarteten Daten. 
Widerspruchsfreiheit: Anzahl aller konsistenten Prüfungen geteilt 
durch die Anzahl aller Prüfungen. Als inkonsistent wurde beispiels- 
weise der Tod im Krankenhaus bei gleichzeitiger Komplikationsfrei- 
heit bewertet. 
Für die ESTS-Datenbank wurde auf den gewählten Datenfeldern eine 
Vollständigkeit von durchschnittlich 85% berechnet. Die Autoren bewer- 
ten dies, mit Ausnahme einiger unterdurchschnittlicher Datenfelder, 
als akzeptables Ergebnis. Die Korrektheit der Datenbank wurde mit 99% 
als optimal bewertet. Die Konsistenz beträgt 98%; die Glaubwürdigkeit, 
die dem niedrigsten Wert der vorhergehenden Qualitätskriterien ent- 
spricht, liegt bei 85%. Als Grenzwert für gute Qualität hatte das Studien- 
team anhand verschiedener Literatursichtungen 80% definiert. Hiermit 
liegen alle Qualitätskriterien über dem festgelegten Grenzwert. 


. Bewertung der Publikation 


Anschaulich und nachvollziehbar beschreibt die Publikation die Quanti- 
fizierung verschiedener Qualitätskriterien anhand einfacher Metriken. 
Allerdings ist der Grad der Innovation dieser Methodik als eher gering 
einzuschätzen. 


Shabestari/Roudsari 2013 


au BWN HB 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: Kanada 


. Bezug zum Thema: Qualitatsindikatoren 

. Ort und Art der Intervention: nicht anwendbar 

. Datenbestand: nicht anwendbar 

. Qualitätsindikatoren: Konkordanz, Korrektheit, Plausibilität, Vollstän- 


digkeit, Zeitnähe 

Schlussfolgerungen der Autoren 

Anhand eines modularen Modells zur Qualitätszusicherung, das aufEr- 
kenntnissen einer Literaturrecherche basiert, kann die Datenqualität 
von Electronic Health Records (EHRs) verbessert werden. 
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8. Zusammenfassung der Publikation 


Patientendaten, die in EHRs gespeichert werden, können sowohl in der 
primären als auch in der sekundären Versorgung von großem Nutzen 
sein. Wichtig ist hierbei eine hohe Qualität der genutzten Daten, welche 
sich durch Qualitätskontrolle als auch durch Qualitätssicherung (QS) 
erreichen lässt. Anhand von Belegen aus der wissenschaftlicher Literatur 
weisen die Autoren auf gegenwärtige Probleme und Herausforderungen 
der Datenqualität hin. Im Fokus stehen hierbei die Qualitätskriterien 
Konkordanz, Korrektheit, Plausibilität, Vollständigkeit und Zeitnähe. 
Die Vollständigkeit lässt sich generell durch den Vergleich mit einem 
Goldstandard oder einer Liste erwarteter Elemente prüfen. Zur Gewähr- 
leistung der Korrektheit schlagen die Autoren einen Kontrollpunkt direkt 
bei der Datenerfassung vor. Die Konkordanz lässt sich am besten dann 
prüfen, wenn Daten aus verschiedenen Datenquellen vorhanden sind. 
Erreicht werden kann dies beispielsweise durch einen mehrstufigen Auf- 
bewahrungsort der Daten. Für die Prüfung der Plausibilität ist grund- 
sätzlich medizinisches Wissen von Nöten. Die Zeitnähe ist ein komple- 
xes Problem und bedarf einer zentralen Organisation, die die Zeitnähe 
ihrer Akten kontrolliert. Aus den Erkenntnissen haben die Autoren ein 
Sequenzdiagramm zu einem fehlervorbeugenden QS-Modell zur Ent- 
wicklung von EHRs erstellt. Es besteht aus mehreren verzahnten QS- 
Modulen und bezieht unter anderem als wichtigen Faktor die Mitarbeit 
des Pflegepersonals mit ein und basiert demnach nicht ausschließlich 
auf maschinellen Entscheidungen. 


. Bewertung der Publikation 


In relativ kurzer Form wird von Problemen, Herausforderungen und Lö- 
sungsansätzen in Bezug auf verschiedene Kriterien der Datenqualität bei 
EHRs berichtet. Anhand der Erkenntnisse dieser Literaturrecherche prä- 
sentieren die Autoren ein präventives QS-Model. Leider ist die Beschrei- 
bung dieses Modells nur relativ oberflächlich; der Nutzen wird nicht 
weiter validiert. 


Sigurdardottir et al. 2012 


SNousweH 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualität 
Herkunft der Autoren: Island 
Bezug zum Thema: Qualitätsindikatoren, SDV 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: isländisches Krebsregister 
. Qualitätsindikatoren: Aktualität, Validität, Vollzähligkeit 


Schlussfolgerungen der Autoren 
Das isländische Krebsregister erreicht eine hohe Vollständigkeit, Validi- 
tät und Aktualität der Daten und ist vergleichbar mit den Krebsregistern 
der anderen nordischen Staaten. 


207 


KIII 


XIII Anhänge 


8. 


Zusammenfassung der Publikation 

Die Autoren beschreiben die erste formale Evaluation des seit 1954 be- 
stehenden islandischen Krebsregisters. Im Rahmen dieser Evaluation 
wurden die Vergleichbarkeit, Validitat, Aktualitat und Vollstandigkeit 
der Daten aus dem Zeitraum 1955 bis 2009 (insgesamt 41.994 Krebsdiag- 
nosen) überprüft. Für die Jahre 2000 und 2001 wurde per Record Linkage 
zwischen dem Krebsregister und dem Register der Krankenhausentlas- 
sungen die Vollzahligkeit des Krebsregisters bestimmt, die bei 99,15% 
liegt. 96,4% der zwischen 2005 und 2009 registrierten Tumore sind mor- 
phologisch verifiziert. Nur 0,2% der Fälle sind DCO (Death Certificate 
Only)-Fälle. Innerhalb eines Jahres nach Diagnose sind 84,8% der Diag- 
nosen im Krebsregister gemeldet. Insgesamt erreicht das Krebsregister 
eine hohe Datenqualität. 


. Kommentar 


Dieser Artikel beschreibt eine weitere Anwendung häufig genutzter 
Datenqualitätsindikatoren. 


Stevens et al. 2008 


u eU NBP 


NO 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 
Herkunft der Autoren: Neuseeland 

Bezug zum Thema: Qualitatsindikatoren 

Ort und Art der Intervention: nicht anwendbar 

Datenbestand: Durch die stationäre Versorgung erhobene Lungenkrebs- 
daten der Regionen Auckland und Northland (Neuseeland) aus dem Jahr 
2004 sowie Daten des New Zealand Cancer Registry (NZCR) mit überein- 
stimmenden Einschlusskriterien. 

Qualitätsindikatoren: Genauigkeit, Vollständigkeit 
Schlussfolgerungen der Autoren 

Unvollständigkeit als auch Ungenauigkeit der mit Lungenkrebs assozi- 
ierten Daten des NZCR könnten sich negativ auf daraus abgeleitete For- 
schung auswirken. Zwar ist es begrüßenswert, dass das NZCR, als eines 
der wenigen Register der Welt, nationale Daten zum Krankheitsverlauf 
führt, jedoch ist das Fehlen dieser Daten in 42% der Fälle trotz meist vor- 
handener Quelldaten problematisch. Die Erkenntnisse dieser Studie soll- 
ten nicht nur im Fall von Lungenkrebs, sondern auch generell für ande- 
re Bereiche des NZCR relevant sein. 


. Zusammenfassung der Publikation 


Die Studie befasst sich mit der Prüfung von Vollständigkeit und Genau- 
igkeit der Daten des NZCR. Hierfür wurden rückwirkend alle Patienten 
aus den Regionen Auckland und Northland, die im Jahre 2004 mit Lun- 
genkrebs diagnostiziert wurden, ermittelt. Dabei konnten 556 Patienten 
identifiziert und die dazugehörigen Informationen aus den klinischen 
Akten und regionalen Datenbanken bezogen werden. Bei den Informa- 
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tionen handelt es sich um die erfassten Daten zu Eingang, Ubermittlung 
und Verwaltung von Lungenkrebspatienten bis zur Initiierung erster 
Behandlungen oder der Entscheidung, den Patienten ohne Eingriffe wei- 
ter zu versorgen. Die Informationen wurden mit denen des NZCR abge- 
glichen. Lediglich 490 der in den regionalen Datenbanken enthaltenen 
Patienten waren auch im NZCR gelistet, wobei Informationen zu neun 
weiteren Patienten mit den passenden Einschlusskriterien ausschließ- 
lich im NZCR vorlagen. Die Vollständigkeit des NZCR beträgt hiermit 
88% (499/565). Zusätzlich enthielt der bezogene Datensatz des NZCR ein 
Duplikat sowie 78 (13%) aus verschiedenen Gründen unzulässige Einträ- 
ge. In den 490 gemeinsamen Einträgen wurden 4 (1%) Unterschiede im 
Geburtsdatum, 16 (3%) Unterschiede in der Volksabstammung sowie 22 
(4%) Unterschiede in den Adressangaben ermittelt. Das Diagnosedatum 
stimmte nur in 288 (59%) der Fälle überein. Die große Diskrepanz ist je- 
doch hauptsächlich auf die Unterschiede in den Felddefinitionen der 
regionalen Datenbanken sowie des NZCR zurückzuführen. Weiterhin 
unterschieden sich die Einträge in 21 (4%) Fällen bei der Diagnosen- 
Grundlage sowie 5 (1%) Fällen im Typ des Tumors. Zum Fortschritt des 
Tumors gab esin 97% der Fällein den regionalen Datenbanken sowie 58% 
im NZCR Informationen. Bei 279 gemeinsamen Fällen stimmten dabei 
die Informationen in 216 (77%) der Fälle überein. 


. Bewertung der Publikation 


Die Studie belegt, dass Datenqualität auch in nationalen Registern Re- 
levanz besitzt. Demnach ist bei der Forschungsarbeit mit Registerdaten 
grundsätzlich mit einem gewissen Bias und einer statistischen Unsicher- 
heit zu rechnen. 


Taggart et al. 2012 


UBWN He 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualitat 
Herkunft der Autoren: Australien 
Bezug zum Thema: Qualitatsindikatoren, Feedback 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Routinemäßiger Bezug von Daten aus Electronic Health 


Records (EHRs) von vier Arztpraxen der Grundversorgung. 


. Qualitätsindikatoren: Korrektheit, Vollständigkeit, Widerspruchsfrei- 


heit 

Schlussfolgerungen der Autoren 

Das electronic Practice Based Research Network (ePBRN) kann verwendet 
werden, um die Datenqualität von Electronic Health Records (EHRs) aus 
der medizinischen Grundversorgung zu überwachen und zu verbessern. 
Die Verlinkung der Daten aus verschiedenen Quellen gestattet zudem 
neue Forschungsanwendungen. Der initiale Fokus des ePBRN liegt auf 
der Diabetesforschung, soll jedoch ausgeweitet werden. 
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8. 


Zusammenfassung der Publikation 

Das Paper beschreibt die Vorgehensweise und erste Ergebnisse des ePBRN. 
Hierbei handelt es sich konzeptionell um ein Data-Warehouse, das regel- 
mäßig Daten von Arztpraxen transportverschlüsselt bezieht, Patienten- 
daten probabilistisch mit Hilfe der Software GRHANITETM abgleicht, 
zusammenführt und für die Forschung zur Verfügung stellt. Arztpraxen, 
die mit dem Primary Health Care Research Network (PHReNet) oder der 
integrierten Pflege des South West Sydney Local Health District Diabetes 
Servicein Kontakt stehen, wurden zur Teilnahme am ePBRN eingeladen. 
In einer ersten Pilotstudie wurde das System anhand von initial drei, 
später vier Arztpraxen getestet. Die Auswertung, insbesondere der Qua- 
litätskriterien Vollständigkeit, Korrektheit und Widerspruchsfreiheit, 
diente dazu, die Datenqualität anhand des Systems zu evaluieren. Die 
Vollständigkeitsprüfung umfasste zum einen die Prüfung des Vorhan- 
denseins von Datenelementen zu sozialen Faktoren wie Geschlecht, Alter, 
ethnische Herkunft sowie verschiedener Risikofaktoren wie dem BMI 
oder Blutdruck. Zum anderen wurde geprüft, ob Daten vorhanden waren, 
die bei klinischen Entscheidungen im Kontext des Diabetes nutzbar wä- 
ren. In der Pilotstudie lag die Vollständigkeit von Geschlecht und Geburts- 
datum bei allen Praxen bei 100%. Die Vollständigkeit der anderen Daten 
schwankte je nach Merkmal zwischen 10% und 86%. Dies wurde von den 
Autoren als zu schwach bewertet, um medizinische Entscheidungen zu 
treffen. Zur Analyse der Korrektheit wurde geprüft, in welchem Maß 
Skalen, am Beispiel des Gewichtes die Maßeinheit Kilogramm, bzw. Wer- 
tebereiche richtig verwendet wurden. Die Korrektheit lag fast durchgän- 
gig bei annähernd 100%. Die Analyse zur Widerspruchsfreiheit verglich 
die Daten auf einheitliche Terminologien und Kodierungen (z.B. SNO- 
MED). In der Pilotstudie lag die Widerspruchsfreiheit in jedem Attribut 
bei 100%. Um die Datenqualität zu verbessern, wird den Arztpraxen ein 
Feedback zur Datenqualitätsauswertung zur Verfügung gestellt. 


. Kommentar 


Durch das zentrale Data-Warehouse fallen Datenqualitätsmängel in spe- 
zifischen Arztpraxen schnell auf. Das System bietet demnach eine her- 
vorragende Möglichkeit, die Datenqualität zu überwachen und über 
Rückmeldungen an die Arztpraxen gezielt zu verbessern. 


Thoburn et al. 2007 


u PUNB 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualität 


. Herkunft der Autoren: USA 


Bezug zum Thema: Qualitätsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: An das US-amerikanische National Program of Cancer 


Registries (NPCR)-Cancer Surveillance System (NPCR-CSS) angeschlos- 
sene Krebsregister. 


210 


Anhang 2 - Literatursichtung 2005 bis 2013 


6. 
7: 


Qualitätsindikatoren: Korrektheit, Vollständigkeit 
Schlussfolgerungen der Autoren 

Für gute Datenqualitat in den untersuchten Krebsregistern sind gut qua- 
lifizierte Mitarbeiter, der Zugriff auf verschiedene Datenquellen und die 
Einhaltung von Standards wichtig. 


. Zusammenfassung der Publikation 


Die Daten von 34 Krebsregistern, die an das US-amerikanische National 
Program of Cancer Registries (NPCR)-Cancer Surveillance System (NPCR- 
CSS) angeschlossen sind, wurden auf Vollständigkeit und Richtigkeit 
überprüft. Untersucht wurden 13 Datenelemente aus den Diagnosejah- 
ren 1998 bis 2001 (41.512 Tumore). Students t-Test wurde benutzt, um 
statistisch signifikante Unterschiede bei Covariaten zu finden. Die Voll- 
ständigkeit über alle Register hinweg betrug 96,4% und die Korrektheit 
95,0%. Eine bessere Datenqualität zeigte sich bei den Registern, diemehr 
zertifizierte Tumordokumentationskräfte einsetzten und verschiedene 
Datenquellen nutzten. 


. Kommentar 


Die Untersuchung zeigt die Bedeutung flankierender Maßnahmen für 
die Erreichung einer guten Datenqualität. Dies lässt sich auch auf ande- 
re Register und Kohorten übertragen. 


Tolonen et al. 2006 


upwnH 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: Finnland 
Bezug zum Thema: Qualitätsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Daten zu Individuen aus 38 Populationen im Kontext kar- 


diovaskulärer Erkrankungen. 


. Qualitätsindikatoren: nicht anwendbar 


Schlussfolgerungen der Autoren 

m MONICA Projekt der WHO werden verschiedene Aspekte der Daten- 
qualität berücksichtigt, dokumentiert und bearbeitet. Die Qualität jedes 
Datenelements wurde in Qualitätsberichten mithilfe eines Qualitätssco- 
res quantifiziert. 


. Zusammenfassung der Publikation 


In der internationalen Studie WHO MONICA geht es um die Evaluierung 
von Risikofaktoren zu kardiovaskulären Erkrankungen. Hierfür wurden 
Daten aus 38 Populationen zu Personen im Alter zwischen 35 und 64 Jah- 
ren gesammelt und analysiert. Voraussetzung für eine solche Analyse 
ist eine zuverlässige Datenqualitätskontrolle, die in dieser Arbeit be- 
schrieben wird. 

Bei der Datenerfassung müssen von den Organisatoren der lokalen Zen- 
tren bereits detaillierte Fragebögen zu Quellpopulation, Auswahlmetho- 
den, essmethoden und Messgeräten sowie zum Training des Personals 
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ausgefüllt werden. Für die Sammlung der Risikofaktoren gibt es ein stan- 
dardisiertes Protokoll, und die Daten werden durch systematische Feh- 
lerprüfungen als auch detaillierte retrospektive Datenkontrollen ge- 
prüft. Hierzu werden in regelmäßigen Abständen Datenqualitatsberich- 
te erstellt und öffentlich zugänglich gemacht. Teil dieser Berichte ist 
eine Quantifizierung der Datenqualität einzelner Datenelemente an- 
hand eines Datenqualitätsscores. Im Einzelnen handelt es sich bei den 
untersuchten Datenelementen um das Alter der Teilnehmer, die Quell- 
population, den Überwachungszeitraum sowie die verschiedenen Risi- 
kofaktoren. Ein Score von o steht für mangelhafte Datenqualität, ı für 
geringere Mängel und der Wert 2 für optimale Datenqualität. Quellpopu- 
lationen wurden anhand von nationalen oder lokalen Bevölkerungs- und 
Wahlregistern bestimmt. Der Qualitätsscore hierzu wurde anhand der 
Anzahl von nicht geeigneten bzw. nicht erreichbaren Individuen berech- 
net. 20 von 38 der Quellpopulationsbewertungen wurden hierbei mit 
einem Score von 2 versehen, die restlichen mit einem Wert von 1. Für die 
erfassten Datenfelder zu Fragestellungen wurde der Score anhand zweier 
Kriterien berechnet: zum einen der Abweichung zwischen den an den 
Umfragezentren lokal verwendeten Fragen zu den Fragevorgaben, die 
zur Verwendung in MONICA empfohlen werden, zum anderen das Vor- 
handensein von Ergebnisdaten zu jeder Frage. Zur Berechnung des Qua- 
litatsscores der Risikofaktoren wurden zu jeder Messung die verwende- 
ten Instrumente und Prozeduren dokumentiert und mit dem MONICA 
Protokoll abgeglichen sowie die Ergebnisse der Messungen evaluiert. 
Weiterführende Untersuchungen zu den Risikofaktoren Cholesterol so- 
wie dem BMI demonstrierten den Zweck der Qualitätsscores in statisti- 
schen Arbeiten. Es zeigte sich, dass der BMI in Populationen mit Daten- 
qualitätsproblemen niedriger als bei anderen Populationen ist. Der Qua- 
lity-Score des BMI kann somit verwendet werden, um Populationen mit 
niedriger Datenqualitat zu erkennen. Zudem kann der Qualitatsscore 
grundsatzlich als Qualitatsgewicht verwendet werden. 


. Bewertung der Publikation 


Durch die Einführung eines Qualitatsscores bietet die Arbeit eine leicht 
verstandliche Methode, um Datenqualitat zu quantifizieren. Dieses Kon- 
zept erlaubt erweiterte Möglichkeiten bei der statistischen Auswertung. 


Tuble 2011 


u PUNB 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualität 


. Herkunft der Autoren: Australien 


Bezug zum Thema: Qualitätsindikatoren, SDV 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: Quelldaten sowie Einträge der Datenbank der Perfusion 


Downunder Collaboration (PDUC) zu 60 Fällen von kardiopulmonalem 
Bypass aus den Jahren 2008 bis 2009. 
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6. 
7: 


Qualitätsindikatoren: Genauigkeit, Vollständigkeit 
Schlussfolgerungen der Autoren 

Die PDUC-Datenbank ist momentan angemessen akkurat und vollstan- 
dig. Verbesserungen der Qualitätssicherung sind jedoch denkbar und 
umfassen das Training von Datenmanagern, die Datenvalidierung sowie 
ein Feedback zu Datenqualitatsanalysen. 


. Zusammenfassung der Publikation 


Inhalt der Arbeit ist die Analyse der Datenqualität der PDUC-Datenbank. 
Hierbei handelt es sich um eine Datenbank zum kardiopulmonalen By- 
pass. Zur Auswertung wurden als Stichprobe Quelldaten von 10% der be- 
arbeiteten Fälle (n = 60) zweier australischer Krankenhäuser aus den 
Jahren 2008, bzw. die eines weiteren Krankenhauses aus dem Jahr 2009 
untersucht und mit den hierzu eingetragenen Daten der PDUC-Daten- 
bank abgeglichen. Insgesamt wurden dabei 57 von 260 möglichen Va- 
riablen ausgewertet. Bei den 60 geprüften Fällen wurden insgesamt 3420 
Werte geprüft. Hiervon waren 6,9% ungenau übermittelt; 3,2% der Va- 
riablenausprägungen fehlten komplett. Weiterhin wurden die Variablen 
mit Abweichungsraten (0-25%, 25-50%, 51-75%, 75-100%) versehen. Un- 
genau übermittelte, fehlende, nicht eingegebene oder nicht validierba- 
re Werte wurden als Abweichung gewertet. Es zeigte sich, dass der Groß- 
teil der Variablen niedrige Abweichungsraten im Bereich von 0-25% auf- 
wiesen. Höhere Raten waren vor allem auf systematische Unterschiede 
zurückzuführen. Zufällige Fehler, wie beispielsweise Transkriptions- 
fehler, traten vor allem bei manuell erfassten Variablen auf. 


. Kommentar 


Mithilfe von SDV gelingt es, die Datenqualität der PDUC-Datenbank zu 
quantifizieren. Diese ist moderat zufriedenstellend. Zwar ist die Stich- 
probe mit lediglich 60 Fällen klein, wie die Autoren in der Diskussion 
der Arbeit beschreiben; die Resultate können jedoch als Anregung für 
Möglichkeiten zur Verbesserung der Qualitätssicherung von Daten ge- 
nutzt werden. 


Tudur Smith et al. 2012 


BWN He 


Art des wissenschaftlichen Vorhabens: Health Technology Assessment 
Herkunft der Autoren: Vereinigtes Königreich 
Bezug zum Thema: SDV 


. Ort und Art der Intervention: Im Rahmen einer in Großbritannien durch- 


geführten Studie über Krebspatienten im fortgeschrittenen Stadium 
wurden die Effektivität und die Auswirkungen von zentraler als auch 
standortspezifischer Überwachung mittels SDV geprüft. 


. Datenbestand: Studiendaten zu Nachsorge und Tod von 533 Krebspatien- 


ten aus 75 Artzpraxen und Kliniken. 


. Qualitätsindikatoren: nicht anwendbar 
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7. Schlussfolgerungen der Autoren 


Anhand des Beispiels von Patienten, die unter fortgeschrittenem Krebs 
leiden, wurde der Nutzen eines lokalen Monitorings mittels SDV mit 
einem zentralen Monitoring verglichen. Hierbei war der beim lokalen 
Monitoring zusatzlich betriebene Aufwand hoch und teuer. Die Daten 
waren nicht zwangslaufig fehlerfrei. Die ermittelten Unterschiede zwi- 
schen Studien- und SDV-Daten hatten dabei keinen Einfluss auf die 
Haupterkenntnisse der Studie. 


. Zusammenfassung der Publikation 


Zwischen Januar 2002 und Marz 2006 wurden in einer britischen Studie 
Informationen aus 75 Pflegeeinrichtungen zu 533 Patienten im fortge- 
schrittenen Krebsstadium erhoben. Die Daten wurden in papierbasierte 
CRFs aufgenommen, welche die Quelldaten darstellen, und in einer zen- 
tralen Studiendatenbank abgespeichert. Durch die unabhangige Erfas- 
sung von Geburts- und Todesdaten des Office for National Statistics (ONS) 
gab es eine parallele zentrale Erfassung von Eintritt, Datum und Ursache 
des Todes der Studienteilnehmer sowie von deren identifizierenden 
Daten. 
In den Jahren 2006 und 2007 wurde zusätzlich an den jeweiligen Stand- 
orten eine SDV über alle Daten durchgeführt, um zu gewährleisten, dass 
die in der Studiendatenbank gespeicherten Daten mit denen der CRFs 
übereinstimmen. Die verifizierten Daten wurden in einer neuangelegten 
SDV-Datenbank abgelegt. Um den Nutzen der SDV einzuschätzen, wur- 
den die Datenbanken in folgenden Kriterien verglichen: 

Basisdaten, 

primäre Folgen (generelles Überleben) sowie 

sekundäre Folgen (folgenloses Überleben [PFS], Reaktion auf die Maß- 

nahmen [RECIST], schwerwiegende unerwünschten Ereignisse 

[SAE]). 
Die Unterschiede zwischen den Studien- und den SDV-Daten waren ge- 
nerell niedrig, und die Informationen stellten sich bei einer Sensitivi- 
tatsanalyse über alle Daten als nahezu identisch dar. Bei 13 (2,4%) Patien- 
ten stimmte das Todesdatum nicht überein. Zu 29 (5,4%) weiteren Pa- 
tienten lagen Todesdaten vor, die in den Studiendaten nicht gelistet wa- 
ren. Auch die Kaplan-Meier-Überlebenskurve zeigt kaum Unterschiede 
zwischen den Studien- und SDV-Daten mit einem vernachlässigbaren 
Unterschied hinsichtlich der Effektivität der Behandlungen. Zwischen 
den ONS- und SDV-Daten gab es im Todesdatum 53 (9,9%) Unterschiede, 
was belegt, dass die SDV-Daten nicht zwangsläufig fehlerfrei sein müs- 
sen. Bei 132 (24,8%) der Patienten lieferte der Vergleich der Studien- und 
SDV-Daten zur PFS-Zeit Unterschiede. Dies hatte jedoch erneut kaum 
einen Einfluss auf die Kaplan-Meier-Überlebenskurve. Beim Vergleich 
der RECIST-Klassifikationsdaten waren die Abweichungen größer, sind 
jedoch hauptsächlich (93,5%) auf Unterschiede in den verwendeten Klas- 
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sifikationen zurückzuführen. Bei der Anzahl der SAE gab es bei 53 (9,9%) 
der Patienten Abweichungen. 

Der zusätzliche Aufwand des dezentralen Monitorings mit SDV schlug 
sich für diese Studie in etwa 30,5 Arbeitswochen nieder (bei 7 Stunden 
am Tag und 5 Werktagen), was von den Autoren mit ca. 25.000 € zusätz- 
lichen Kosten berechnet wurde. Die Kostenschätzung des zentralen Mo- 
nitorings lag lediglich bei ca. 2.400 €. 


. Bewertung der Publikation 


Zwar konnten anhand der SDV zu Krebspatientendaten geringe Abwei- 
chungen zwischen Originaldaten und erfassten Daten ermittelt werden, 
diese hatten jedoch kaum einen Einfluss auf weiterführende Analysen, 
wie in diesem Beispiel die Auswertung der Kaplan-Meier-Überlebens- 
kurve. Es stellt sich demnach die kritische Frage, ob sich generell die 
erheblichen Mehrkosten eines dezentralen Monitorings gegenüber 
einem zentralen Monitoring lohnen. 


Venet et al. 2012 


NOUN BWNH 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 
Herkunft der Autoren: Belgien 
Bezug zum Thema: SDV 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: nicht anwendbar 
. Qualitätsindikatoren: nicht anwendbar 


Schlussfolgerungen der Autoren 

Zentrale, statistische Überwachung kann abnormale Muster in Daten 
aufdecken. Hierdurch istes möglich, lokale Untersuchungen gezielt auf 
spezifische Studienzentren mit problematischem Datenbestand zu be- 
schränken. 


. Zusammenfassung der Publikation 


Im Großteil klinischer Studien wird Datenqualität durch aufwendiges 
lokales Monitoring und SDV gewährleistet. Um diesen Aufwand und die 
damit verbundenen Kosten grundlegend zu verringern, wird als Alter- 
native präsentiert, Datenqualität durch ein zentrales, statistisches Mo- 
nitoring zu verbessern. Beim zentralen, statistischen Monitoring wird 
der individuelle Datenbestand eines jeden an einer Studie teilnehmen- 
den Zentrums mit dem kollektiven Datenbestand aller Zentren vergli- 
chen. Hierdurch ist eine Identifikation abnormaler Datenmuster, wie 
sie zum Beispiel bei künstlichen oder gefälschten Daten auftreten, mög- 
lich. Folglich können nach der Erkennung von Abweichungen gezielte 
Maßnahmen für einzelne Studienzentren getroffen werden. Das zent- 
rale, statistische Monitoring ist allerdings nur bei ausreichend großen 
Datenmengen sowie einem Datenbestand aus verschiedenen Datenquel- 
len, beispielsweise verschiedenen Studienzentren, einsetzbar. Weiter- 
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führend werden auf der Grundlage von echten Studiendaten Beispiele 
präsentiert, bei denen Qualitätsmängel durch zentrales, statistisches 
Monitoring erkannt werden konnten, die bei einem lokaler Monitoring 
trotz gründlichem SDV unerkannt geblieben wären. 


. Bewertung der Publikation 


Die Autoren präsentieren das zentrale, statistische Monitoring als kos- 
tensparende Alternative zum Einsatz eines lokalen Monitorings bei allen 
Studienzentren. Allerdings erscheint die Methode nur für größere Stu- 
dien und Projekte sinnvoll anwendbar. 


Verhulst et al. 2012 


u PWwWN 


7. 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualität 
Herkunft der Autoren: Niederlande 

Bezug zum Thema: SDV 

Ort und Art der Intervention: nicht anwendbar 

Datenbestand: Daten des internationalen Mucopolysaccharidose-Typ I- 
Registers 

Qualitätsindikatoren: Korrektheit 

Schlussfolgerungen der Autoren 

Die globalen Fehlerraten zeigen eine akzeptable Datenqualität in den 
untersuchten Variablen des Registers. 

Zusammenfassung der Publikation 

Das internationale Mucopolysaccharidose (MPS)-Typ I-Register wurde 
aufgrund regulatorischer Anforderungen im Jahre 2003 angelegt und 
sammelt auf freiwilliger Basis Informationen zum Krankheitsverlauf bei 
Patienten mit MPS Typ I. Die gesammelten Daten werden mittels Que- 
ries, monatlichen Reviews und elektronischen Audits auf fehlende, in- 
konsistente und nicht-valide Daten überprüft. Mittels Originaldaten- 
abgleich (SDV) wurde die Korrektheit der Registerdaten festgestellt. Die 
SDV wurde in ausgewählten Zentren in Europa, Süd-Amerika und Nord- 
Amerika durchgeführt. Jeweils 3 Patienten pro Zentrum wurden zufällig 
ausgewählt und die wichtigsten Variablen zur Beschreibung der Erkran- 
kung und ihrer Behandlung zu Baseline und der letzten verfügbaren 
Untersuchung betrachtet. Die SDV wurde in den Jahren 2008 und 2009 
(Phase 1) sowie 2009 und 2010 (Phase 2) durchgeführt. In Phase 1 zeigte 
sich eine globale Fehlerrate von 2,7%; in Phase 2 stieg die Rate auf 3,7%. 
Systematische Fehler wurden nicht gefunden. 


. Kommentar 


Dieser Artikel zeigt die Sinnhaftigkeit des Originaldatenabgleichs (SDV). 


Weiskopf/Weng 2013 


1, 
2, 


Art des wissenschaftlichen Vorhabens: systematisches Review 
Herkunft der Autoren: USA 
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Bezug zum Thema: Qualitätsindikatoren 


. Ort und Art der Intervention: nicht anwendbar 
. Datenbestand: nicht anwendbar 
. Qualitätsindikatoren: Konkordanz, Korrektheit, Plausibilität, Vollstän- 


digkeit, Zeitnähe 

Schlussfolgerungen der Autoren 

Die in der Literatur beschriebenen Qualitätsindikatoren ließen sich grob 
in fünfKategorien zusammenfassen. Hiervon bewerten die Autoren nur 
drei dieser Kategorien als fundamental (Korrektheit, Vollständigkeit, 
Zeitnähe). Zudem bemängeln die Autoren generell die inkonsistente 
Terminologie bei der Diskussion um Datenqualität und vermerken die 
teilweise große Varianz in den Ergebnissen der Qualitätsabschätzungen. 
Sollte das Bestreben vorhanden sein, Daten aus Electronic Health Records 
(EHRs) als zukünftige Quelle medizinischer Forschung zu nutzen, müs- 
sen validierte, systematische Methoden für die EHR-Qualitätsbewertung 
entwickelt werden. 


. Zusammenfassung der Publikation 


Bei der Arbeit handelt es sich um ein systematisches Review zur Daten- 
qualitatsbewertung in Bezug auf die Wiederverwendung von EHR-Daten 
für die Forschung. Auf PubMed wurden mit Schlagworten, die Indika- 
toren von Datenqualität beschreiben, sowie aus verschiedenen, zu EHR 
synonymen MeSH-Terms, insgesamt 230 Literaturquellen ermittelt (Juli 
2012). Die Suchanfrage lautete wie folgt: ((‘data quality’ OR ‘data accu- 
racy’ OR‘data reliability’ OR ‘data validity’ OR ‘data consistency’ OR ‘data 
completeness’ OR ‘data errors’ OR ‘data error’) AND (EHR OR electronic 
medical record OR computerized medical record OR medical records sys- 
tems, computerized [mh]) AND English{lang])). Nach manueller Prü- 
fung auf verschiedene Einschlusskriterien wurden 95 Artikel fiir die wei- 
tere Bearbeitung ausgewahlt. Zu diesen Artikeln wurden die darin 
untersuchten Qualitatsindikatoren, die Bewertungsmethoden und der 
untersuchte Datenbestand ausgewertet. Insgesamt konnten 27 spezifi- 
sche Qualitätsindikatoren ermittelt werden. Diese ließen sich wie folgt 
gruppieren: 

Vollständigkeit (in 64% der Artikel), 

Korrektheit (in 60% der Artikel), 

Konkordanz (in 17% der Artikel), 

Plausibilität (in 7% der Artikel) und 

Zeitnähe (in 4% der Artikel) 
Zusätzlich konnten sämtliche Methoden zur Datenqualitätsbewertung 
in die folgenden sieben Kategorien unterteilt werden: Goldstandard, 
Übereinstimmen von Datenelementen, Vorhandensein von Elementen, 
Übereinstimmen von Quelldaten, Vergleich der Verteilungen, Validitäts- 
check und Log Review. Der Großteil der Studien befasste sich zudem mit 
strukturierten Daten (73%). 
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9. 


Bewertung der Publikation 

Das Review gibt einen ausführlichen Überblick über genutzte Qualitats- 
indikatoren und deren Häufigkeit im Kontext der Wiederverwendung 
von EHR-Daten für die Forschung. Dabei zeigte sich, dass vor allem Voll- 
ständigkeits- und Korrektheitsanalysen zentrale Punkte bei der Bewer- 
tung von Datenqualität sind. 


Wu et al. 2008 


1 
2 
3 
4 
5 
6 
7 


Art des wissenschaftlichen Vorhabens: Konzeptvorstellung 

Herkunft der Autoren: USA 

Bezug zum Thema: Qualitätsindikatoren 

Ort und Art der Intervention: nicht anwendbar 

Datenbestand: Patienten mit Koronararterien-Bypass 
Qualitätsindikatoren: Rekrutierungsrate, Vollzähligkeit 
Schlussfolgerungen der Autoren 

Das von den Autoren vorgeschlagene modifizierte Maß zur Schätzung 
der Vollzähligkeit eines Follow-Ups liegt bei der betrachteten Population 
näher an der Realität als das Original-Maß. 

Zusammenfassung der Publikation 

Die Autoren Clark, Altman und De Stavola [Clark et al. 2002] haben ein 
Maß „C“ für die Vollzähligkeit einer Nachverfolgung von Patienten (Fol- 
low-Up) vorgeschlagen, das als Prozentsatz der aktuell beobachteten Fol- 
low-Up-Jahre bezogen auf das Maximum möglicher Follow-Up-Jahre de- 
finiert ist. Die Autoren des vorliegenden Artikels bemängeln, dass „C“ 
die Vollzähligkeit eines Follow-Ups unterschätzt, da der Nenner keine 
unbeobachteten Todesfälle berücksichtigt. Daher schlagen die Autoren 
eine Modifikation „C*“ vor, die dieses Problem berücksichtigt. Dieser 
Ansatz wurde mit den Daten eines Follow-Ups einer Gruppe von Patien- 
ten mit Koronararterien-Bypass getestet. Zur Ermittlung der tatsächli- 
chen Vollzähligkeit wurde der Nationale Todesindex der USA herangezo- 
gen. Die tatsächliche Vollzähligkeit lag bei 85,0%. Das modifizierte „C*“ 
lag mit 84,5% näher an der Realität als das Original-„C“ mit 80,4%. 


. Kommentar 


Dies ist ein interessanter Ansatz zur Schätzung der Vollzähligkeit eines 
Follow-Ups, und er scheint auch für Register und Kohorten geeignet zu 
sein. Eine umfassende Evaluierung dieses Ansatzes wäre wünschens- 
wert. 


Xian et al. 2012 


1, 
2, 
3% 


Art des wissenschaftlichen Vorhabens: Analyse von Datenqualität 
Herkunft der Autoren: USA 
Bezug zum Thema: Qualitätsindikatoren 
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Ort und Art der Intervention: nicht anwendbar 

Datenbestand: Quelldokumente zu 438 Schlaganfallpatienten und den 
dazugehörigen Einträgen in das Get With The Guidelines (GWTG) Stro- 
ke-Register. 

Qualitätsindikatoren: Genauigkeit, Zuverlässigkeit. 
Schlussfolgerungen der Autoren 

Die in dieser Studie durchgeführte Validierung von zufällig ausgewähl- 
ten Daten des GWTG Stroke-Registers sowie den dazugehörigen Quell- 
dokumenten der jeweiligen Krankenhäuser bestätigt die generell hohe 
Datenqualität der GWTG Stroke-Datenbank. 

Zusammenfassung der Publikation 

Zwischen Oktober 2008 und September 2009 wurden 223 (von insgesamt 
1342) Krankenhäuser, die regelmäßig an das GWTG Stroke-Register Daten 
übermitteln, zufällig ausgewählt, um an einer Qualitätsanalyse des 
Datenbestandes des GWTG Stroke-Registers teilzunehmen. Letztendlich 
beteiligten sich an dieser freiwilligen Studie 147 Krankenhäuser mit 438 
zur Verfügung gestellten medizinischen Quelldokumenten. Diese wur- 
den hierbei an Outcome Science, Inc. verschickt. Die Firma bietet ein 
Patienten-Management-Tool an, mit dem die Daten für das GWTG Stro- 
ke-Register routinemäßig erfasst werden. Von identifizierenden Merk- 
malen befreit wurden die abstrahierten Quelldokumente mit den dazu- 
gehörigen, in das GWTG Stroke-Register eingetragenen Daten zur wei- 
teren Auswertung an das Duke Clinical Research Institute weitergeleitet. 
Die Datenauswertung erfolgte durch geschulte Prüfer, die ein standar- 
disiertes Datenauswertungsinstrument, das speziell für die Studie ent- 
worfen wurde, verwendeten. Als akkurat wurden nur die Datenelemen- 
te bewertet, die sowohl in den Daten der abstrahierten Quelldokumente 
der Krankenhäuser als auch denen der erfassten GWTG-Daten exakt über- 
einstimmten. Hierbei konnten 4% der durch das GWTG Stroke-Register 
aufgenommenen Daten nicht durch Informationen in den abstrahierten 
Quelldokumenten identifiziert werden. Über alle Daten hinweg betrug 
die Genauigkeit je nach Datenfeld zwischen 79,0% und 99,5%, durch- 
schnittlich 96,1%. Zudem wurden zeitsensitive Datenfelder auf ihre Zu- 
verlässigkeit geprüft. Hierbei gab es in insgesamt 38 Fällen Unterschie- 
de. Insgesamt sind die Ergebnisse als gut zu bewerten mit Ausnahme 
einiger Datenfelder, insbesondere Gewichts- und Datumsangaben. Ein 
Nebenbefund war, dass Daten von akademischen Lehrkrankenhäusern 
eine etwas höhere Genauigkeit aufwiesen als die der anderen teilneh- 
menden Krankenhäuser. 


. Bewertung der Publikation 


Die Datenqualität des in der Studie vorgestellten nationalen Registers 
erscheint zufriedenstellend. Ein Grund hierfür ist wohl die Art der 
Datenerfassung, die in allen teilnehmenden Zentren über ein standar- 
disiertes Internettool einer externen Firma erfolgte. 
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Weiterführende Online-Ressourcen 


Unter www.tmf-ev. de/Leitlinie-Datenqualitaet stellt die TMF weiterführende 
Materialien und Ressourcen zur Leitlinie Datenqualitat bereit und macht In- 
halte der ersten Auflage verfügbar. 


Literatursichtung bis 2005/2006 


Grundlage von Version 1.0 der Leitlinie bildeten eine umfassende Literatur- 
sichtung und eine Befragung von ausgewiesenen Experten, die derı. Auflage 
des Buches als Anhang beigefügt war. Die Zusammenfassung von Literatur- 
sichtung und Expertenbefragung bis 2005/2006 steht nun unter www.tmf-ev. 
de/Leitlinie-Datenqualitaet digital zur Verfügung. 


Schlussbericht zu TMF-Projekt V020-04 


Im Vorlauf zur Überarbeitung der Leitlinie wurden neue Indikatoren im Rah- 
men des TMF-Projektes Vo20-04 „Leitlinie Datenqualität als Rahmen für em- 
pirische Forschungsvorhaben“ identifiziert. Der Schlussbericht zu diesem Pro- 
jekt ist unter www.tmf-ev.de/Leitlinie-Datenqualitaet verlinkt. 


Checklisten 


Die Checklisten, die als Implementierungshilfen zu Version 1.0 der Leitlinie 
Datenqualität entwickelt wurden, können unter www.tmf-ev.de/Leitlinie- 
Datenqualitaet im PDF-Format abgerufen werden. 


221 


Weiterführende Online-Ressourcen 


Statistische Tabellen und Software 


Version 1.0 der Leitlinie wurde darüber hinaus durch statistische Tabellen 
(www.tmf-ev.de/Produkte/Po20021) und spezifische Software (www.tmf-ev. 
de/Produkte/Po20031) ergänzt, die weiterhin im Produktbereich der TMF-Web- 
site zur Verfügung stehen und unter www.tmf-ev. de/Leitlinie-Datenqualitaet 
verlinkt sind. 
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TMF - Forscher vernetzen, Lösungen bereitstellen, Doppelarbeit vermeiden 


Die TMF sorgt für Qualitäts- und Effizienzsteigerung 
in der medizinischen Forschung 


Die moderne medizinische Forschung steht vor zunehmend komplexen Her- 
ausforderungen, für deren Lösung sich die Akteure aus Grundlagenforschung, 
klinischer Forschung, Versorgungseinrichtungen, Industrie und weiteren 
Partnern miteinander vernetzen und gemeinsame Strategien entwickeln müs- 
sen. Ein zentraler Ansatz ist die Effizienzsteigerung auf allen Ebenen der me- 
dizinischen Forschungs- und Entwicklungskette, um - bei gesicherter Quali- 
tät - Forschungsergebnisse auf schnellstem Wege in die Patientenversorgung 
zu übertragen und damit zu einem effizienten und leistungsfähigen Gesund- 
heitswesen beizutragen. Die Bundesregierung unterstützt diesen Prozess 
unter anderem im Rahmen des Gesundheitsforschungsprogramms und fördert 
seit mehr als zehn Jahren konsequent die medizinische Verbundforschung. 
Erfolgreiche Beispiele sind die herausragenden Ergebnisse aus den Kompetenz- 
netzen in der Medizin oder den Koordinierungszentren für Klinische Studien. 


DieTMF-Technologie- und Methodenplattform für die vernetzte medizinische 
Forschung (kurz: TMF), die vom Bundesministerium für Bildung und Forschung 
(BMBF) gefördert wird, leistet hierzu einen entscheidenden Beitrag, indem sie 
Forscher disziplinübergreifend zusammenbringt und Lösungen für die vernetz- 
te medizinische Forschung bereitstellt. Damit übernimmt sie eine wesentliche 
nationale Aufgabe zur Qualitäts- und Effizienzsteigerung für die Forschung. 


Ziele und Aufgaben 


Als Dachorganisation für die medizinische Verbundforschung verfolgt die TMF 
das Ziel, die organisatorischen, rechtlichen-ethischen und technologischen 
Voraussetzungen für die klinische, epidemiologische und translationale For- 
schung zu verbessern. Sie hat die Aufgabe, die wissenschaftliche Arbeit der 
modernen medizinischen Forschung, die heutzutage überwiegend in koope- 
rativen Projekten mit mehreren beteiligten Standorten stattfindet, zu unter- 
stützen. Dazu stellt sie - öffentlich und gemeinfrei, also für jeden Forscher 
nutzbar - Gutachten, generische Konzepte, Leitfäden und IT-Anwendungen 
ebenso wie Schulungs- und Beratungsangebote bereit. Der überwiegende Teil 
der Produkte steht unter www.tmf-ev.de zum Download zur Verfügung. Aus- 
gewählte Ergebnisse werden in der Schriftenreihe der TMF publiziert. 


Die Produkte werden - von der Forschung für die Forschung - von den Fachex- 
perten der Mitgliedsverbünde entwickelt, die in den interdisziplinären Arbeits- 
gruppen der TMF zusammenkommen. Als Grundmuster und Leitmotiv der ge- 
meinsamen Arbeit in den Arbeitsgruppe gilt der Anspruch, gemeinsame Prob- 
leme gemeinsam zu lösen, von vorhandenen Erfahrungen gegenseitig zu pro- 
fitieren, Doppelarbeit zu vermeiden sowie professionelle Lösungen zu erarbeiten, 
zu diesen einen Konsens in der Forschergemeinschaft herzustellen und ihre 
konsequente Nutzung und langfristige Verfügbarkeit zu gewährleisten. 


225 


TMF - Forscher vernetzen, Lösungen bereitstellen, Doppelarbeit vermeiden 


Geschichte 


Die TMF wurde 1999 unter dem Namen „Telematikplattform für Medizinische 
Forschungsnetze“ als Förderprojekt des BMBF gegründet. Mit dem Ziel, die 
Struktur zu verstetigen und die gemeinsame Querschnittseinrichtung der 
medizinischen Verbundforschung noch stärker in die Hände der Forscher 
selbst zu legen, wurde 2003 der TMF e.V. gegründet. Seither ist die Zahl der 
Mitgliedsverbünde stark angewachsen. Damit zusammenhängend hat sich 
auch das thematische Spektrum der TMF verbreitert, die zunächst primär auf 
Fragen der IT-Infrastruktur ausgerichtet war. Die Themen reichen heute von 
rechtlichen und ethischen Rahmenbedingungen und Fragen der IT-Infrastruk- 
tur über Qualitätsmanagement und Standards für klinische Studien sowie den 
Themenkomplex Biobanken und molekulare Medizin bis hin zum Problem der 
Verzahnung von Forschung und Versorgung oder Fragen der Verbundkoordi- 
nation und der Wissenschaftskommunikation. 


2010 beschloss die Mitgliederversammlung eine Umbenennung der TMF, da 
der Begriff „Telematikplattform“ diesem breiten Spektrum nicht mehr gerecht 
wurde. Der seither geführte Name „TMF - Technologie- und Methodenplatt- 
form für die vernetzte medizinische Forschung e.V.“ erfasst die Aufgaben und 
Themen der TMF auf spezifischere Weise. 


Mitglieder 


Mitglieder der TMF sind überregionale medizinische Forschungsverbünde, 
vernetzt arbeitende universitäre und außeruniversitäre Forschungsinstitute, 
Methodenzentren, regionale Verbundprojekte sowie kooperative Studiengrup- 
pen. Dazu gehören unter anderem 


die Deutschen Zentren der Gesundheitsforschung, 

die Kompetenznetze in der Medizin, 

die Koordinierungszentren bzw. Zentren für Klinische Studien (KKS/ZKS), 
die Integrierten Forschungs- und Behandlungszentren, 

die Netzwerke für Seltene Erkrankungen, 

die Fraunhofer-Gesellschaft (mit dem Fraunhofer ITEM als direktem 
Mitglied), 

die Zoonosen-Forschungsverbünde, 

die zentralisierten Biomaterialbanken 

Universitätsinstitute, 

Patientenorganisationen 

und zahlreiche weitere. 


Über Mitgliedsverbünde sind bundesweit alle Universitatsklinika und zahlreiche 
außeruniversitäre Forschungsstandorte in unterschiedlicher Weise in die TMF 
eingebunden. Mit Kooperationspartnerschaften sorgt dieTMF auch darüber hi- 
naus für eine Einbindung der relevanten Institutionen im Gesundheitswesen. 
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Themen und Arbeitsweise 


Die durch die Forschungsverbünde und -einrichtungen gemeinsam zu bearbei- 
tenden Querschnittsaufgaben gehen weit über Fragen von Informations- und 
Kommunikationstechnologie im technischen Sinne hinaus. Die Wissen- 
schaftler in den Forschungsprojekten brauchen Unterstützung und Erfah- 
rungsaustausch in großer Breite: 


= zu Fragen der konkreten Umsetzung von Datenschutz und ethischen 
Richtlinien, 

= zum Aufbau von Forschungsinfrastrukturen wie Datenbanken für For- 
schungsregister und Biobanken, 

= zur strategischen Nutzung von Informationstechnologie für die Prozess- 
unterstützung wie für die wissenschaftliche Auswertung, 

= zu Rechtsfragen in vielerlei Hinsicht, beispielsweise zum Vertragsrecht 
innerhalb von Netzwerken, zu Patienteneinwilligungen oder zu Verwer- 
tungsfragen, 

= zu Fragen der Organisation und des Managements von Forschungsnet- 
zen und ihren Projekten sowie 

= zunehmend auch zu Fragen des Budgetmanagements, der Finanzierung 
und der Nachhaltigkeit von mit öffentlichen Geldern aufgebauten Netz- 
werkstrukturen. 


Alle diese Fragen werden kontinuierlich in den Arbeitsgruppen der TMF be- 
arbeitet, in denen sich die jeweiligen Fachleute aus den verschiedenen Pro- 
jekten und Forschungsstandorten interdisziplinär zusammenfinden. Dabei 
entstehen strategische Anstöße und Impulse für die Forschungsinfrastruktur, 
vor allem aber konkrete Hilfen, Produkte und Services für den Forscher. Regel- 
mäßig tagen einzelne Arbeitsgruppen auch gemeinsam, um auf diese Weise 
auch themenübergreifende Aspekte aufnehmen und Doppelaktivitäten der 
Arbeitsgruppen vermeiden zu können. 


Arbeitsgruppen 


Die Arbeitsgruppen initiieren Projekte und betreuen sie im Verlauf - bis hin zur 
Implementierung der Ergebnisse und zur Beratung von Forschungsprojekten 
auf dieser Basis. Neue Projektvorschläge durchlaufen ein mehrstufiges Aus- 
wahlverfahren - von der fachlichen Prüfung und Schärfung in den Arbeitsgrup- 
pen über Beratung in der Geschäftsstelle bis hin zur Begutachtung durch den 
Vorstand. Mit diesem Vorgehen wird sichergestellt, dass die in den Projekten 
adressierten Probleme für die Forschergemeinschaft relevant sind und dass die 
angestrebte Lösung einen breiten Konsens für die spätere Anwendung findet. 


Arbeitsgruppen können in der TMF je nach aktuellem Bedarf neu eingerichtet, 
zusammengelegt oder auch aufgelöst werden, wenn ein Thema keine hohe 
Relevanz mehr hat. Derzeit sind neun Arbeitsgruppen aktiv: 
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Arbeitsgruppe Datenschutz 

Arbeitsgruppe IT-Infrastruktur und Qualitätsmanagement 
Arbeitsgruppe Biomaterialbanken 

Arbeitsgruppe Molekulare Medizin 

Arbeitsgruppe Management Klinischer Studien 
Arbeitsgruppe Medizintechnik 

Arbeitsgruppe Zoonosen und Infektionsforschung 
Arbeitsgruppe Netzwerkkoordination 

Arbeitsgruppe Wissenschaftskommunikation 


Derinterdisziplinäre Austausch wird über die Arbeitsgruppen hinaus durch 
zahlreiche Symposien und Workshops, durch den TMF-Jahreskongress sowie 
durch Foren - aktuell beispielsweise zum Thema Versorgungsforschung - 
ergänzt. 


Lösungen stehen frei zur Verfügung 


Die TMF stellt Gutachten, generische Konzepte, Leitfäden und IT-Anwendun- 
gen ebenso bereit wie sie Schulungs- und Beratungsservices der Arbeitsgrup- 
pen, auch in Form von Einzelberatungen, anbietet. Die Ergebnisse der Arbeit 
in der TMF stehen öffentlich und gemeinfrei zur Verfügung. 


Mit diesem offenen Ansatz verfolgt die TMF das Ziel, 


= methodisches Know-how und Infrastrukturen für die vernetzte medizi- 
nische Forschung breit verfügbar zu machen, 

= die Harmonisierung, die Interoperabilität und das Qualitätsmanage- 
ment in der vernetzten medizinischen Forschung durch entsprechende 
Infrastruktur, Leitfäden und Services zu stärken, 

= dieKollaboration in der deutschen medizinischen Forschung sowie deut- 
sche Forscher in internationalen Kooperationen zu stärken, 

= die Verstetigung und Nachhaltigkeit akademischer medizinischer For- 
schungsprojekte zu unterstützen und 

= einen Beitrag zu sinnvollem Mitteleinsatz in der öffentlich geförderten 
medizinischen Forschung zu leisten, indem sie Doppelentwicklungen 
vermeiden hilft und die Wiederverwendung vorhandener Lösungen or- 
ganisiert. 


Mit ihren Lösungen adressiert die TMF vor allem die nicht-kommerzielle, aka- 
demische - universitäre wie außeruniversitäre - Forschung in Deutschland. 
Unabhängig davon ist aber auch ein steigendes Interesse an den Angeboten 
aus der Industrie zu verzeichnen. Viele Lösungen der TMF sind zudem auch 
für das Ausland, insbesondere die deutschsprachigen Länder, relevant und 
werden in dortigen Forschungseinrichtungen bereits genutzt. 


Alle Download-geeigneten Produkte und Ergebnisse stehen auf der TMF-Web- 
site zur Verfügung. Einzelne Software-Werkzeuge sind sehr komplex und 
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bedürfen einer individuellen Anpassung und Erläuterung, so dass sie nur 
über den direkten Kontakt zur TMF-Geschäftsstelle erhältlich sind, diedann 
auch für die Betreuung bei der Implementierung und Nutzung des Produktes 
sorgt. Darüber hinaus fließen die Ergebnisse kontinuierlich auch in die Dis- 
kussionen in den Arbeits- und Projektgruppen ein, und sie werden in kon- 
kreten Beratungsgesprächen sowie in Schulungs- und Informationsveran- 
staltungen vermittelt. 


TMF-Schriftenreihe 


Wichtige Konzepte, Leitfäden und Hilfstexte veröffentlicht die TMF in ihrer 
Schriftenreihe, die sie seit mehreren Jahren bei der Medizinisch Wissenschaft- 
lichen Verlagsgesellschaft herausgibt. So erschienen 2006 als erster Band die 
generischen Lösungen zum Datenschutz für die Forschungsnetze in Buchform 
(Reng et al.: Generische Lösungen zum Datenschutz für die Forschungsnetze 
in der Medizin, Berlin 2006 - Bd. 1). In der Zwischenzeit sind diese Konzepte 
einer grundlegenden Revision unterzogen und erneut mit den Bundes- und 
Landesdatenschützern abgestimmt worden. Die überarbeiteten Konzepte wer- 
den in Kürze ebenfalls in der TMF-Schriftenreihe publiziert. 


Es folgte das Rechtsgutachten zum Aufbau und Betrieb von Biomaterialbanken 
(Simon et al.: Biomaterialbanken - Rechtliche Rahmenbedingungen, Berlin 
2006 - Bd. 2), das im Februar 2008 um einen weiteren Band zum Thema Quali- 
tätssicherung von Biobanken ergänzt wurde (Kiehntopf/Böer: Biomaterial- 
banken - Checkliste zur Qualitätssicherung, Berlin 2008 - Bd. 5). Das Daten- 
schutzkonzept, das ursprünglich als Bd. 6 der Schriftenreihe publiziert werden 
sollte, wird in die Veröffentlichung der neuen generischen Datenschutzkon- 
zepte der TMF integriert. 


Mit der Checkliste zur Patienteneinwilligung legte die TMF Ende 2006 ein Re- 
ferenzwerk vor, das den Anwendern ermöglicht, aufder Basis von relevanten, 
dokumentierten und kommentierten Quellen Patienteninformationen und 
Einwilligungserklärungen für klinische Studien zu erstellen, die den regula- 
torischen Anforderungen entsprechen (Harnischmacheret al.: Checkliste und 
Leitfaden zur Patienteneinwilligung, Berlin 2006 - Bd. 3). Wie die meisten 
anderen Buchpublikationen auch, wird dieser Band durch weitere online ver- 
fügbare Materialien (z.B. Musterverträge) oder Services ergänzt. 


An die TMF-Ergebnisse im Bereich Datenschutz und Patienteneinwilligung 
knüpft auch der 2012 erschienene Band 10 an (Goebel/Scheller: Einwilligungs- 
erklärung und Forschungsinformation zur Gewinnung tierischer Proben, 
Berlin 2012 - Bd. 10). Die Ergebnisse sind im Auftrag der Nationalen For- 
schungsplattform für Zoonosen erarbeitet worden. Sie dienen dazu, For- 
schenden Rechtssicherheit bei der Entnahme und Bearbeitung von Tierpro- 
ben zu geben und sie bei der Erstellung der relevanten Einwilligungsunter- 
lagen zu unterstützen. 
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Ein Rechtsgutachten zum Problemfeld der Verwertungsrechte in der medizi- 
nischen Forschung (Goebel/Scheller: Verwertungsrechte in der medizinischen 
Forschung, Berlin 2008 - Bd. 7) erschien 2008 als erste Veröffentlichung einer 
Reihe von Rechtsgutachten, die die TMF zu verschiedenen Fragen hat erstellen 
lassen, unter anderem zum Thema ,,elektronische Archivierung von Studien- 
unterlagen“. Die Publikation dieser weiteren Rechtsgutachten in der TMF- 
Schriftenreihe wird sukzessive folgen. 


Mit Band 8 (Mildner [Hrsg]: Regulatorische Anforderungen an Medizinpro- 
dukte, Berlin 2011 - Bd. 8) legte die TMF erneut die Aufarbeitung eines im Um- 
bruch befindlichen Feldes vor. Das Buch bietet eine Einführung in den regu- 
latorischen Prozess bei der Entwicklung von Medizinprodukten und stellt 
Handlungshilfen bereit. Dabei wird der gesamte Bereich von der klinischen 
Bewertung bis zum Health Technology Assessment abgedeckt. 


Praktische Empfehlungen für die Verarbeitung und Analyse von Daten, die 
bei der Hochdurchsatz-Genotypisierung anfallen, gibt Band 9 (Krawczak/Freu- 
digmann [Hrsg.]: Qualitatsmanagement von Hochdurchsatz-Genotypisie- 
rungsdaten, Berlin 2011 - Bd. 9), der ebenfalls 2011 publiziert werden konnte. 
Dabei reichen die behandelten Fragen von Problemen der Validitat und Plau- 
sibilitat über die Erkennung und Vermeidung von Fehlern bis hin zu Anforde- 
rungen an Datenhaltung und Datentransfer. 


Das vorliegende jüngste Buch ist die Neuauflage des vierten Bandes der TMF- 
Schriftenreihe, der bereits 2007 erstmals erschienen ist und jetzt in einer ak- 
tualisierten und ergänzten Fassung vorgelegt wird. Die Leitlinie (Nonnema- 
cheretal.: Datenqualität in der medizinischen Forschung, Berlin 2014 - Bd. 4) 
enthält Empfehlungen zum Management von Datenqualität in Registern, 
Kohortenstudien und Data Repositories. 


Weitere Informationen und Kontakt 


TMF - Technologie- und Methodenplattform 
für die vernetzte medizinische Forschung e.V. 
Charlottenstraße 42/Ecke Dorotheenstraße 
10117 Berlin 

Tel.: 030 - 22 00 24 7-0 

Fax: 030 - 22 00 24 7-99 

E-Mail: info@tmf-ev.de 

Internet: www.tmf-ev.de 
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Zur Schriftenreihe der TMF - Technologie- und Methodenplattform 
für die vernetzte medizinische Forschung e.V. 


In der TMF - Technologie- und Methodenplattform für die vernetzte medizinische Forschung e.V. haben sich 
Netzwerke und vernetzt arbeitende Einrichtungen zusammengeschlossen, um gemeinsam die Fragestellungen 
und Herausforderungen von medizinischer Forschung an verteilten Standorten zu lösen und die Erfahrungen 
zu bündeln. Durch den Community-Ansatz erfahren die Ergebnisse der TMF eine breite inhaltliche Abstimmung 
in der medizinischen und medizininformatisch-biometrischen Fachwelt. Mit ihrer Schriftenreihe macht die TMF 


die Lösungen einer breiteren Leserschaft zugänglich. 


Bisher in der Schriftenreihe erschienen: 


Band 1: 

Generische Lösungen zum Datenschutz 

für die Forschungsnetze in der Medizin 

von Carl-Michael Reng | Peter Debold 

Christof Specker | Klaus Pommerening 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2006 


Band 2: 

Biomaterialbanken - Rechtliche Rahmenbedingungen 
von Jürgen Simon | Rainer Paslack | Jürgen Robienski 
Jürgen W. Goebel | Michael Krawczak 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2006 


Band 3: 

Checkliste und Leitfaden zur Patienteneinwilligung 
Grundlagen und Anleitung für die klinische Forschung 
von Urs Harnischmacher | Peter Ihle | Bettina Berger 
Jürgen Goebel | Jürgen Scheller 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2006 


Band 4: 

Datenqualität in der medizinischen Forschung 

von Michael Nonnemacher | Dorothea Weiland 
Jürgen Stausberg 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2007 


Band 5: 

Biomaterialbanken - 

Checkliste zur Qualitätssicherung 

von Michael Kiehntopf | Klas Böer 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2008 


Band 7: 

Verwertungsrechte in der vernetzten 

medizinischen Forschung 

von Jürgen W. Goebel | Jürgen Scheller 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2009 


Band 8: 

Regulatorische Anforderungen an Medizinprodukte 

von Kurt Becker | Sandra Börger | Horst Frankenberger 

Dagmar Lühmann | Thomas Norgall 

Christian Ohmann | Annika Ranke | Reinhard Vonthein 
Andreas Ziegler | Andreas Zimolong 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2011 


Band 9: 

Qualitätsmanagement von Hochdurchsatz- 
Genotypisierungsdaten 

von Michael Krawczak | Mathias Freudigmann (Hrsg.) 
MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2011 


Band 10: 

Einwilligungserklärung und Forschungsinformation 
zur Gewinnung tierischer Proben 

von Jürgen W. Goebel | Jürgen Scheller 

MWV Medizinisch Wissenschaftliche Verlagsgesellschaft, 2012 


